Мой вопрос: какая математическая модель полифонического звука может сделать возможным изменение (то есть смещение высоты звука) отдельных музыкальных нот в многоканальной аудиозаписи полифонического акустического музыкального инструмента? Под «изменением нот в полифоническом звуке» я имею в виду что-то вроде редактирования звука с помощью так называемой функции « Прямой доступ к нотам» в программном обеспечении Meledyne от Celeony.
Согласно википедии , то, что Melodyne использует для моделирования звукового сигнала однострочной мелодии, исполняемой на акустическом (и, следовательно, тембрально сложном) музыкальном инструменте, является чем-то вроде того, что Хеннинг Тилеманн описывает в своей статье под названием « Распутывание фазы и времени в монофонических звуках ». Однако Я не могу найти никаких ссылок на модели звуковых сигналов полифонических музыкальных инструментов; согласно интервью на Youtube Питера Нойбакера (переписано ниже), функция Melodyne для редактирования полифонического звука требует подхода, отличного от описанного Тилеманном.
Одна подсказка из другого клипа на YouTube заключается в том, что модель Нойбакера лучше работает с аудиозаписью только одного ВИДА инструмента (т.е. только фортепиано, только гитара, только струны, только духовые и т. Д.). Еще одна подсказка - еще один клип, демонстрирующий способность не только изменять высоту тона, но и время начала и конца ноты.
Ниже приведена стенограмма видео на YouTube, в котором упоминается, что «полифонические материалы требуют другого подхода» (если у вас нет времени смотреть его с 22:00).
Вопрос, из которого возникла Мелодина: как я могу получить звук из трехмерной формы, подобной этой [жестикулируя с камнем в руке]? Каким образом звук может быть освобожден от зависимости от непрерывного времени? Эта скульптура - фактически то, что возникло из этого ... Это кусок пластика ... Это было получено непосредственно из музыкальных данных. Этот объект [вырывает записку из лютни] из этой записки. Лучше всего это визуализировать слева направо. Время бежит в этом направлении [жестикулируя слева направо]. И это амплитуда [жестикулируя большим и маленьким пальцем против большого пальца]. Если я включу его, он ... представляет тембр этого звука в любом конкретном случае. Вы можете очень ясно увидеть здесь структуру [указывающую на поперечное сечение внизу скульптуры], которая является несколько треугольной; потому что в этом звуке
Так как Мелодина еще не существовала, и я просто экспериментировал с переводом звука в эту форму, я почти год работал над этим звуком. ... Я знаю этот звук внутри и снаружи и наизусть. Это также обеспечивает хорошую иллюстрацию местного звука. Я могу не только воспроизводить звук [щелкнув мышью], но я также могу ввести звук любой точки и перемещаться по ней так медленно или быстро, как мне нравится. Я могу даже задержаться в звуке или двигаться вперед и назад, поэтому, если я исследую одно место здесь ... обойдите его. ... десять лет назад это было новым.
Недавно была добавлена днк (прямой доступ к заметкам). С его помощью я также могу редактировать полифоническую музыку. Другими словами, я могу редактировать отдельные ноты, которые звучат одновременно, например, запись гитары. Если я сейчас сыграю небольшой аккорд [выбрав Поли-> Отдельные ноты на экране], мы увидим здесь 3 ноты, которые я только что сыграл как отдельные объекты. Давайте просто послушаем снова [компьютер играет минорный аккорд]. И теперь, словно двигая пальцем к более сильному раздражению, я могу поднять эту одну заметку [перетаскивая заметку на экран вверх; компьютер играет мажорный аккорд. Для разделенного аудио я могу выделить эту одну ноту и теперь могу перемещать ее вверх или вниз по желанию на любую высоту звука, какую пожелаю.
Почему раньше никто не мог таким образом изолировать отдельные тона в сложном материале? Я, честно говоря, не знаю. В науке естественная тенденция состоит в том, чтобы начать с чего-то простого, например, с синусоидальной волны, или отдельных заметок, и сначала проанализировать это, только чтобы обнаружить, когда материал становится более сложным или должен рассматриваться полностью, что система не работает Мой подход другой. На самом деле я начинаю со сложных сигналов, и только когда я хочу подробно рассмотреть что-то, я возвращаюсь к более простым, но сначала у меня должно быть общее впечатление о том, что на самом деле происходит в реальности.
Может быть, секрет кроется в этом списке? Хе-хе, это на самом деле рулон Лоо. Первоначально поднятый камнем вопрос заключался в том, как я могу перевести данный звук в трехмерную форму. Здесь я расположил отдельные значения дискретизации звука, обозначенные здесь один-два-три и так, по спирали. И оказывается, что если вы интерполируете между точками [жестикулируя по спирали], появляется пейзаж, который также представляет отдельные сечения в звуке [жестикулирование сечений скульптуры].
Сколько лет рулону? 12 лет. Так что эта идея - источник Мелодии, всего, что мы видели сегодня ...? Да, но этот способ сворачивания звука больше не будет полезен для полифонических материалов, что требует другого подхода.
Ответы:
TL; DR? Google Scholar для гармонического частичного разделения .
Хорошей отправной точкой были бы методы синусоидального моделирования, которые разделяют сигнал на составляющие синус + шум (детерминистический и стохастический). Детерминированный компонент, составленный из синусов, может быть убедительно повторно синтезирован:
http://mtg.upf.edu/files/projectsweb/sms-piano-original.wav
http://mtg.upf.edu/files/projectsweb/sms-piano-deterministic.wav
Синус вычитается из сигнала, а шумовая / стохастическая часть остается.
http://mtg.upf.edu/files/projectsweb/sms-piano-stochastic.wav
Стохастическая часть синтезируется путем пропускания шума через некоторый шумоподавляющий фильтр. Некоторые другие расширили это до модели синус + шум + переходные процессы, которая помогает сохранить переходные стохастические особенности при растяжении во времени.
https://ccrma.stanford.edu/~jos/sasp/Sines_Noise_Modeling.html
http://mtg.upf.edu/technologies/sms
Если у вас есть синусоидальные параметры сигнала, можно разделить синусы перекрывающихся нот, выполнив поиск коэффициентов гармоник и сгруппировав их по началу и т. Д. Частичное отслеживание приводит к большим результатам в Google Scholar.
http://recherche.ircam.fr/equipes/analyse-synthese/lagrange/research/papers/lagrangeIcassp05.pdf
http://dream.cs.bath.ac.uk/software/sndan/mqan.html
Скрытые марковские модели , полиномы и Маколея-Кватьери являются одними из методов. Я поставлен в тупик о разделении стохастических остатков на две ноты. Я не знаю, как Мелодия решает эту проблему.
источник
Подход, используемый в мелодине, требует двух отдельных операций в частотной области. Во-первых, методы полифонической транскрипции используются для группировки частотных компонентов (из стандартного преобразования частоты) полифонического звука в активации нот. Другими словами, групповые подмножества гармоник в соответствии с наиболее вероятными активациями нот. См. Мой ответ на пост «Обратное распознавание полифонического аккорда» на этом форуме для ссылок и математических моделей.
Вторая операция - это смещение основного тона в частотной области гармонических подмножеств, выделенных выше. Я не уверен, но я почти гарантировал бы, что Melodyne использует подход фазового вокодера для достижения этой цели. Вы также можете провести время растяжения, используя эту технику . Мы используем методы, подобные этим в Riffstation, и они работают довольно хорошо.
источник
Одной из возможностей может быть анализ / повторный синтез с использованием подхода статистического сопоставления с образцом. Если вы знаете или можете разумно угадать сочетание используемых инструментов и иметь шаблоны (включая начальные переходные процессы, спектр плюс эволюция спектра и т. Д.) Для звуков инструмента для всех ожидаемых нот, вы можете попробовать статистическое сопоставление большого количества нормальных аккордов. комбинации с использованием шаблонов звуковых шаблонов для оценки наиболее вероятных полифонических комбинаций. Скорее всего, это будет очень сложный поиск глобальных минимумов, где могут быть полезны различные методы поиска, подобные «ИИ». Затем вы можете взять различные вероятности отдельных аккордов и затем использовать теории принятия решений, чтобы выбрать наиболее вероятные полифонические последовательности во времени.
Затем сделайте приблизительные заметки и заново синтезируйте их с выбранным тоном и длительностью.
источник