Исследователи из университета Торонто создали и обучили нейросеть, которая может создавать музыкальные произведения на основе изображений, пишет издание The Guardian. В режиме реального времени нейросеть анализирует фотографию, а затем создаёт музыкальный ряд и тексты песни. Чтобы проверить работу нейросети, авторы исследования «показали» ей фотографию рождественской ёлки. Вот что получилось:
В своём исследовании учёные опираются на нейросеть, которую обучили создавать поп-песни. Эта нейросеть обучена на базу данных, хранящей 100 часов музыки. Программа не только умеет генерировать общий музыкальный фон, но и учитывает самые популярные последовательности аккордов и добавляет ударные.
После этого исследователи «научили» нейросеть распознавать фотографии — точно так же, на базе готовых фотографий с метками. Таким образом, искусственный интеллект распознает, что запечатлено на изображении и генерирует поток слов. Синтезированная таким образом песня очень напоминает песенку GLaDOS из первой части видеоигры Portal.
Учёные планируют в будущем обучить нейросеть создавать более сложные песни. Уже сейчас существуют программы, способные синтезировать музыку и вокал, и вопрос в том, как скоро нейросети и искусственный интеллект начнёт заменять настоящих исполнителей или «вернёт к жизни» уже умерших?
Читайте также
Vocaloid: поющая программа
Как из компьютерной программы, виниловой наклейки и пачки фанарта рождаются виртуальные звёзды, по которым сходят с ума меломаны всего мира.
Если вы нашли опечатку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
