Команда Яндекса объявила о запуске очень удобной функции для пользователей — ролики на английском языке на многих популярных платформах, включая YouTube, Vimeo, можно смотреть с автоматической озвучкой на русском языке.
Летом в Яндексе начали тестировать технологию машинного перевода видео и предложили пользователям для демонстрации специальный плейлист. Сегодня же новая функция открыта для массового использования. Как обещают разработчики, теперь пользователи смогут посмотреть с русской озвучкой практически любой англоязычный ролик.
Русский закадровый перевод предлагается в двух вариантах — мужским и женским голосом. Перевод работает в Яндекс.Браузере для компьютеров (Windows, macOS, Linux) и Android, а также в приложении Яндекс для Android и iOS. Чтобы посмотреть видео с русской озвучкой, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода занимает несколько минут. Когда всё будет готово, придёт уведомление.
Перевод происходит в несколько этапов. Сначала Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Затем совмещается перевод с видеорядом с помощью нейросетей. Как отмечают разработчики, это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском.