УДК 004.523
МЕТОД СИНТЕЗА МУЗЫКАЛЬНЫХ ПРОИЗВЕДЕНИЙ ИЗ ВЫБОРКИ РАЗНОРОДНЫХ МЕЛОДИЙ
№25,
Технические науки
Акишев Константин Андреевич
Ключевые слова: СИНТЕЗ МУЗЫКИ; АЛГОРИТМИЧЕСКАЯ КОМПОЗИЦИЯ; ОБРАБОТКА ЖАНРОВ; THE SYNTHESIS OF MUSIC; ALGORITHMIC COMPOSITION; PROCESSING OF GENRES.
В данной работе предлагается метод генерации музыкальных композиций из разнородной выборки мелодий одного жанра. На данный момент роль музыки сложно переоценить. Область ее применения весьма обширна и многогранна. Она распространяется на такие области как культура, искусство, фильмы, игры и т.д. Однако, даже над созданием фоновых композиций к фильмам, рекламе, tv-передачам и компьютерным играм работают композиторы, что увеличивает временные и финансовые расходы таких компаний.
Понятие «Музыка» и «Мелодия» достаточно субъективен в современном мире. Любая хорошо написанная мелодия содержит в себе множество взаимосвязанных элементов, каждый из которых определяет уровень ее эмоциональности и простоты или сложности. Для создания легких образов нет нужды в использовании сложных элементов, так же как и при написании симфонии нелепо использовать простые мелодии (если только это не способствует выражению замысла).[1]
Один из первых же известных примеров алгоритмической композиции в том виде, в котором она существует сейчас, принадлежит Моцарту и его «игре в музыкальные кости». В этой игре построение алгоритмического вальса основывалось на таблице, где столбцы обозначали восьмые части вальса, а строки – возможные комбинации двух брошенных кубиков. В зависимости от выпадавших чисел, музыкальные фрагменты объединялись в законченное произведение[2].
Математическое моделирование, и, в частности, Марковские цепи, являются первопроходцем в области изучения алгоритмической композиции.
Суть метода заключается в том, что в Марковской цепи первого порядка для каждой ноты строится вектор вероятностей, и матрица вероятностного перехода, а цепи более высоких порядков группируют ноты в паттерны и последовательности с последующей генерацией с учетом фразовой структуры. Впервые данный метод был реализован американским композитором и доктором химических наук Лежареном Хиллером в его композиции «Сюита Иллиака для струнного квартета» (Илииак – название компьютера, на котором она была разработана) в 1955 году. Данная сюита состояла из четырех частей [3].
Идея разрабатываемого метода заключается в том, что каждая музыкальная композиция может быть разделена на n-секундные мелодии, после анализа которых составляется совершенно новая музыкальная композиция.
Алгоритм работы разрабатываемого метода разделён на четыре этапа. На первом этапе каждая загруженная композиция делится на n-секундные куски. На втором этапе каждый такой фрагмент будет проанализирован на предмет его высоты, громкости и тональности. На третьем этапе, каждому интервалу исходной композиции присваиваются аналитические тэги в зависимости от его физических характеристик. На четвертом этапе по случайно выбранному из музыкальных отрезков – «образцу» – на основе сравнения между собой связанных характеристик, выделяется последовательный музыкальный ряд, который сохраняется в однородную композицию и предлагается слушателю.
Алгоритм работы метода синтеза музыкального произведения представлен на рисунке 1.
Рисунок 1 – Алгоритм работы метода синтеза музыкального произведения
На вход программы пользователь подает жанр, который попадает в модуль обработки и скачивания музыки, на выходе этого модуля формируется список композиций одного жанра. Используя полученный в первом модуле список композиций, последующий модуль начинает нарезку этих композиций на n-секундные интервалы. Список обработанных фрагментов попадает в следующий модуль, где каждому такому куску присваивается набор тэгов. Далее из набора n-секундных интервалов случайным образом выбирается аудио-отрывок, который будет служить основой для сравнения – «образцом» или «оригиналом». После этого оставшиеся куски сравниваются с оригиналом по присвоенным тэгам, и если они совпадают по параметрам, то начинается объединение в один интервал и так далее до тех пор, пока не наступит установленное программой ограничение по времени композиции (180 секунд). На выходе пользователь получает совершенно новую музыкальную композицию в выбранном им жанре.
Обработка музыкально композиции является автоматизированным процессом анализа звуковых данных, который выполняется для получения из музыкальных композиций одного жанра структурированной композиции созданной из нескольких отрезков музыкальных композиций.
Алгоритм включает в себя несколько этапов. На первом этапе работы подсистемы выделяется рабочая композиция, определяется ее длительность и битрейд. В результате получаем исходные данные рабочей мелодии для дальнейшей обработки.
На следующем этапе, исходя из полученных данных предыдущего этапа, определяем n-секундный интервал, который будет зависеть от длительности исходной рабочей мелодии. Расчет производится по формуле 1:
\frac{l}{\frac{l}{10}+1} (1)
где l – длительность музыкальной композиции,
В этапе 3 обработки строится линейка макросов по n-секундным интервалам, то есть наносится на мелодию деление по n секунд. Таким образом, определяется, на сколько кусков можно разделить мелодию и с какими интервалами по длительности будет происходить работа в итоге.
На этапе разделения мелодия разбивается на подмелодии длительностью n-секунд, по ранее построенной сетке макросов.
На выходе первого модуля получаются n-секундные отрывки исходной (рабочей) мелодии, которые сохраняются в базе для дальнейшей обработки.
Алгоритм разбиения композиций на n-секундные куски представлен на рисунке 2.
Рисунок 2 — Алгоритм обработки мелодии
Алгоритм присваивания каждому интервалу мелодии параметров отвечает за присваивания каждому n-секундному интервалу физических характеристик. При этом фрагменты, которые не попадают в интервал восприимчивости человеком физических характеристик, отметается. Их список передаётся в следующий модуль – модуль поиска кусков схожих по параметрам с образцом. Алгоритм присваивания каждому интервалу мелодии параметров приведен на рисунке 3.
Рисунок 3 – Алгоритм присваивания каждому интервалу мелодии параметров
В алгоритме поиска кусков схожих по параметрам с образцом происходит сравнение кусков с образцом, который выбирается случайно среди всех n-секундных отрывков и последующее слиянии кусков. Алгоритм обработки мелодий приведён на рисунке 4.
Рисунок 4 – Алгоритм обработки мелодий
Когда речь идёт о работе с данными, встаёт проблема выбора формата для хранения этих данных. В ходе анализа были рассмотрены наиболее популярными форматы для хранения данных, такие как AAC, WAV, FLAC, MP3.
Рассмотрим каждый формат отдельно, чтобы понять, какой из них наиболее корректно подойдет для наших целей.
Формат ACC обладает следующими преимуществами:
— наличие MDST-технологии, обеспечивающее хорошее качество при небольшом битрейте;
— небольшой размер
Однако формат так же имеет и существенный недостаток который, он попросту не распространен среди слушателей и с таким треком будет очень сложно работать.
Формат WAV обладает такими плюсами как:
— безупречное качество;
— мгновенная распаковка – «на лету» при экономичном использовании процессора;
— большое распространение и поддержка большим количеством программ и аудиоустройств
Но, к сожалению, его минусы перекрывают положительные стороны формата:
— большой вес;
— нераспространённость среди широкой публики;
— зависимость от устройств воспроизведения.
Формат FLAC имеет в своем арсенале неопровержимые преимущества:
— высокое качество;
— большое количество дополнительных возможностей;
— свободная лицензия.
При этом ряд недостатков, которые в этом формате присутствуют, делают его проблематичным для работы и хранения:
— довольно большой размер;
— на старых операционных системах (ОС) необходимо дополнительно скачивать соответствующие плееры.
Формат MP3 обладает следующими преимуществами:
— MP3 имеет малый объем;
— MP3 имеет высокое качество звучания;
— MP3 имеет собственное название содержимого;
— MP3 легко копируется на персональном компьютере (ПК);
— MP3 удобен в создании музыкального архива, а также для хранения на лазерных компакт-дисках;
— ни одна производимая аппаратура для проигрывания музыки не обходится без поддержки формата MP3.
В то же время данный формат имеет некоторые недостатки:
— не подходит для профессиональной работы со звуком.
Изучив преимущества и недостатки каждого формата, было принято решение хранить данные в формате MP3.
Для оценки работы метода была выполнена его программная реализация и проведен эксперимент, который происходил с участием экспертов. Для проведения экспериментов были сгенерированы десять музыкальных произведений по десяти различным жанрам.
Экспертам предлагалось прослушать сгенерированные музыкальные композиции и оценить их по следующим критериям:
- соответствие жанру;
- ритмичность произведения;
- благозвучие;
- реалистичность произведения;
- законченность произведения;
По результатам эксперимента по каждому критерию были получены средние оценки, которые представлены в таблице 1.
Таблица 1
Средние оценки по критериям
| Критерий | Средняя оценка |
| Соответствие жанру | 4.8 |
| Ритмичность | 4.02 |
| Благозвучие | 4.54 |
| Реалистичность | 3.04 |
| Законченность | 3.6 |
В целом эксперты положительно оценили сгенерированные произведения, отметив их мелодичность. Из недостатков эксперты отметили, что сгенерированная музыка имеет ровное звучание, без развития и кульминаций, которые присущи произведениям, написанным композиторами. Местами слышны переходы из одной мелодии в другую, что нарушает цельность произведения и делает их звучание менее реалистичным.
Список литературы
- Как сочинить мелодию. Как создать музыку на компьютере с помощью FL Studio [Электронный ресурс] / Arhimate. – Режим доступа : https://arhimate.ru/instrukcii/kak-sochinit-melodiyu-kak-sozdat-muzyku-na-kompyutere-s-pomoshchyu-fl/ (дата обращения: 11.04.2020).
- Славщик А. А. Краткий обзор методов алгоритмической композиции [Электронный ресурс] / Хайтек агрегатор. – Режим доступа : http://conf.sfu-kras.ru/sites/mn2012/thesis/s012/s012-087.pdf (дата обращения: 11.04.2020).
- Марковские цепи [Электронный ресурс] / algorithmic composition. – Режим доступа: https://algorithmiccomposition.ru/article_entry_markovchains.html (дата обращения: 11.04.2020).