Яндекс запустил нейросеть YandexART (Vi) для создания коротких видео

в 9:57, , рубрики: Новости

Команда Яндекса представила бета-версию нейросети YandexART (Vi) для создания пятисекундных видео. Как рассказали в пресс-службе, модель научилась воссоздавать плавные движения объектов в кадре, например, бег собаки, падение листа с дерева или взрыв фейерверка. 

Яндекс запустил нейросеть YandexART (Vi) для создания коротких видео
Иллюстрация: Яндекс

Нейросеть могут использовать как обычные пользователи, чтобы создать, например, уникальную анимированную заставку на телефон, так и блогеры, мультипликаторы и другие специалисты. YandexART (Vi) уже доступна в приложении «Шедеврум».

Яндекс запустил нейросеть YandexART (Vi) для создания коротких видео
Иллюстрация: Яндекс

Компания представила предыдущую версию модели для генерации видео по текстовому описанию в августе прошлого года. Прошлое решение позволяло получать анимацию, которые выглядели так, будто двигалась камера, но не объект. Кроме того, от кадра к кадру объекты при генерации значительно менялись. YandexART (Vi) научилась воссоздавать реалистичные движения, а также учитывать связь между кадрами — благодаря этому видео получаются более цельными и плавными. Чтобы нейросеть могла справляться с этой задачей, её обучили на роликах с движущимися объектами, например, с едущим автомобилем или крадущимся котом.

Яндекс запустил нейросеть YandexART (Vi) для создания коротких видео
Иллюстрация: Яндекс

Нейросеть создаёт последовательность кадров, которые незаметно сменяют друг друга и образуют плавное видео. На вход модель получает текстовое описание от пользователя о том, что должно быть в кадре (например: «Носорог танцует хип-хоп в сумрачном лесу»), и создаёт картинку, с которой будет начинаться анимация. Затем модель постепенно превращает цифровой шум в последовательность кадров, опираясь на это изображение и текстовый запрос.

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js