Новый алгоритм плавно смешивает любые два звуковых сигнала

Новый алгоритм генерирует эффект портаменто между любыми двумя аудиосигналами в режиме реального времени. Он плавно смешивает частотные сегменты из одного аудиосигнала в другой, не увеличивая и не уменьшая громкость сигналов.

Музыканты используют эффект под названием «портаменто» для перехода между нотами. Это техника скольжения от одной ноты к другой без фактического определения промежуточных нот.

Музыканты используют портаменто уже более 200 лет. Тем не менее ограниченные типы инструментов могут осуществить этот эффект. Это инструменты, которые могут непрерывно варьироваться по высоте, как скрипка или человеческий голос.

Недавно студент из MIT Тревор Хендерсон разработал алгоритм, который генерирует эффект портаменто между любыми двумя аудиосигналами в режиме реального времени.

Он продемонстрировал возможности алгоритма, объединив различные аудиоклипы, такие как одна песня, смешивающаяся с другой, и фортепианная нота, плавно переходящая в человеческий голос.

Как работает алгоритм?

Алгоритм основан на многовековой основе, основанной на геометрии, известной как «оптимальный транспорт». Каркас определяет оптимальные способы перемещения точек данных между несколькими исходными и конечными конфигурациями. Он был применен к 3D-моделированию, выравниванию изображений, гидродинамике и компьютерной графике.

Хендерсон использовал эту структуру для интерполяции аудиосигналов. Алгоритм работает путем разделения аудиосигнала на небольшие сегменты (около 50 миллисекунд). Затем он определяет наиболее эффективный способ перемещения высот в отдельных сегментах до высот в другом аудиосигнале.

Таким образом, алгоритм генерирует плавное скольжение эффекта портаменто. Это также сохраняет точность звука при переходе сигнала.

Как правило, эффекты затухания используются для смягчения перехода между двумя звуковыми сигналами. Это традиционный метод, при котором объем одного сигнала уменьшается, а объем другого сигнала увеличивается.

С другой стороны, новый алгоритм плавно смешивает частотные сегменты из одного аудиосигнала в другой, не увеличивая и не уменьшая громкость сигналов.

Эта техника распространяет портаменто на различные инструменты, в том числе полифонические. Фактически, он может использоваться для перехода между различными наборами инструментов или любой другой парой аудиосигналов. Он генерирует четкие музыкальные результаты в режиме реального времени.

«Параметром интерполяции» можно управлять с помощью ползункового компонента, такого как кроссфейдер на микшерной плате ди-джея. При перемещении кроссфейдера параметр изменяется, создавая эффект портаменто.

Чтобы устранить искажения, Хендерсон использовал «переназначение частоты», применение метода единой обработки. Это позволяет отдельным нотам легко переходить между сигналами. Он также разработал новый метод синтеза новых фаз для каждого сигнала при объединении небольших сегментов аудио, чтобы смежные сегменты не мешали друг другу.

В следующем исследовании Хендерсон попытается передать результаты портаменто обратно на вход. Это может привести к другому эффекту, называемому легато, который представляет плавное, непрерывное движение между различными нотами.

Источник: arXiv