Источник: Georgia Tech
Создатели робота-музыканта Shimon анонсировали его первый альбом из десяти песен, который будет опубликован на Spotify в апреле 2020 года. После выхода альбома робот отправится в тур в поддержку своего творения.
Shimon играет на маримбе — ударном музыкальном инструменте, похожем на ксилофон. Кроме того, он способен петь, танцевать и самостоятельно писать песни. Робот уже выступал в таких местах, как Космический центр Кеннеди во Флориде, пишет IEEE Spectrum.
Ключом к умению робота сочинять песни является его способность устанавливать тематические связи между разными предметами, объясняет создатель Shimon Джил Вайнберг, директор-основатель Центра музыкальных технологии в Технологическом университете Джорджии. Это, по его словам, сложнее, чем обычное глубокое обучение на базе данных. Вместо того, чтобы просто связывать между собой определенные слова, которые обычно встречаются вместе в текстах песен, Shimon может распознавать более общие темы лирики и использовать их для создания связного полноценного музыкального произведения.
Как рассказал аспирант Университета Джорджии Ричард Сэйвери, один из сотрудников университета, работавших над созданием музыкального робота, Shimon обучался на почти 50 тысячах текстов песен различных жанров, включая джаз, хип-хоп и прог-рок.
«С таким количеством данных и уровнем анализа у Shimon гораздо больше источников вдохновения, чем у человека. На фундаментальном уровне Shimon может очень быстро воспринимать огромное количество нового материала, поэтому в течение одного дня он может поработать над джазовыми мелодиями, текстами хип-хоп песен или комбинацией всех этих материалов».
Shimon может выполнять целый ряд музыкальных заданий — как самостоятельно составлять композиции, так и просто отыгрывать партию, составленную человеком.
«Для нового альбома мы сосредоточились на сотрудничестве человека и робота, поэтому в каждой песне есть элементы, которые были созданы человеком, а некоторые написал Shimon, — объясняет Джил Вайнберг, который сам занимается музыкой и является лидером группы Robotic Musicianship. — Как и у участников любой группы, у каждого из нас есть свои сильные и слабые стороны. Среди наших сотрудников никто не пишет тексты песен, и ответственность за них взял на себя Shimon. Он использует несколько способов работы. Например, мы можем дать Shimon несколько ключевых слов или идей, а он затем генерирует остальной текст на основе этих слов. Робот может поддерживать один и тот же настрой на протяжении всей песни или менять её эмоциональный фон. Кроме того, он понимает, что хорошая лирика должна рифмоваться, следовать ведущей теме или идее и быть похожей на некоторые уже существующие тексты песен».
В преддверии турне учёные изменили и внешний вид Shimon. Они подчёркивают, что постарались избежать чрезмерного антропоморфизма, чтобы не допустить эффекта «зловещей долины» — когда робот или другой объект, который выглядит и действует примерно как человек, вызывает неприязнь и отвращение у наблюдателей.
«После долгих размышлений мы решили, что у поющего робота всё-таки должен быть рот, чтобы певец выглядел правдоподобно. Кроме того, одной из самых важных новых особенностей Shimon, в дополнение к его способности писать песни, является полная модернизация его рук. Мы заменили старые соленоидные приводы на новые бесщеточные двигатели постоянного тока, которые могут поддерживать гораздо более высокую скорость ударов (до 30 ударов в секунду). Это не только обеспечивает гораздо более богатое звучание, но и позволяет создавать новые невозможные для человека мелодии».
Как подчеркнул Вайнберг, учёные надеются, что зрители увидят в Shimon способного музыканта, обладающего «странным и уникальным умом, который может удивлять и вдохновлять».
Сейчас создатели робота-музыканта работают над очередной модернизацией Shimon, чтобы он мог слушать, понимать и отвечать на тексты песен в режиме реального времени — чтобы в будущем, возможно, робот смог участвовать в рэп-баттлах.
Автор: AnnieBronson
