Что такое End2End-распознавание речи, и зачем же оно нужно? В чем его отличие от классического подхода? И почему для обучения хорошей модели на основе End2End нам потребуется огромное количество данных — в нашем сегодняшнем посте.
Прежде чем рассказать про End2End-подход, стоит сначала поговорить про классический подход к распознаванию речи. Что он из себя представляет?
Источник: Raiders of the lost Art
В 1902 году Пабло Пикассо нарисовал картину, которую позже перекрыл своей известной работой «Старый гитарист». Второй, скрытый под «Гитаристом» слой, обнаружили в США больше ста лет спустя — в 1998 году. Тогда специалисты Чикагского университета сфотографировали полотно Пикассо в инфракрасном диапазоне и сделали рентгенографию. Оказалось, что под первым слоем краски изображена женщина.
Фото перекрытой картины оказалось достаточно чётким, чтобы понять, что на нём изображено, но при этом оно было чёрно-белым. Энтони Бурашед из Университетского колледжа в Лондоне и Джордж Канн из коллектива Oxia Plus создали алгоритм, который «раскрасил» картину в стиле Пикассо.
Читать полностью »
Эксплуатация уязвимости в чатботе Microsoft Tay (март 2016 года)
В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.
Весной 2016 года компания Microsoft была вынуждена «усыпить» своего чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней девушки и обладала функцией самообучения. Разработчики надеялись, что Tay с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами пользователей интернета. Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.
Спустя три года специалисты из университета штата Мичиган и лаборатории TAL AI подвели научную основу под хулиганство интернет-троллей. Они разработали систему Reverse Dialogue Generator (RDG) — «обратный генератор диалогов». Он заставляет нейросетевой чатбот сказать именно ту фразу, которую вы хотите.
Понятно, что RDG и сам представляет собой нейросеть. Если вкратце, он тоже обучается на диалогах людей, как и нормальные нейросетевые чатботы, только получает подкрепление не за выход, а за вход: если генерируемый вход соответствует заданному.
Читать полностью »
Замена лиц актёров с помощью нейросетей работает уже неплохо. Если интересно, вбейте на ютубе запрос «Терминатор с лицом Сталлоне». Надеюсь, по контексту понятно, что вы увидите.
Технология замена лиц открытая. Проще говоря, каждый может заморочиться и подменить лицо в любом ролике или фильме. Эффект от замены пока ещё попадает в «зловещую долину». Однако, через год я буду с опаской относиться к любым видеозвонкам.
Если в 2020 году вам звонит по видеосвязи знакомый, то вы не можете быть уверены, что это настоящий человек. И внешний вид, и голос могут быть фальшивкой. Чем, естественно, воспользуются всевозможные мошенники. Но сильнее всего эта технология изменит кинематограф. Читать полностью »
В процессе изучения нейронных сетей возникла мысль, как бы применить их для чего-то практически интересного, и не столь заезженного и тривиального, как готовые датасеты от MNIST. Например, почему бы не распознавать азбуку Морзе.
Сказано, сделано. Для тех кому интересно, как с нуля создать работающий декодер CW, подробности под катом.
Читать полностью »
Пользователь вводит данные: контуры планировки, входная группа и окна. Нейросеть создает планировку с помещениями, а также стены и проемы между ними.
Читать полностью »
Facebook как один из мировых лидеров в разработке технологий искусственного интеллекта нашёл прикладное применение для этих программ: фильтрация общения людей. Передовые инновации внедряют в социальной сети Instagram (см. пресс-релиз Instagram, а также репортаж в Time с комментарием Йоава Шапиры, ведущего разработчика нейросетевых классификаторов травли).
Самая интересная из новых функций — что «грубого человека» можно заблокировать так, что он даже этого не заметит. Пользователь продолжит хамить, но его опубликованные сообщения будут видны только ему одному. Это идеальный вариант, чтобы не блокировать грубияна и не обострять ситуацию. Впрочем, конкретно эта функция не связана с системой ИИ.
Читать полностью »
Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, которая способна генерировать изображения с несколькими объектами на основе текстового описания. В отличие от более ранних подобных алгоритмов text-to-image, способных воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.
Примеры видеороликов из тестового набора
Российская компания NtechLab заняла второе место на конкурсе нейросетей ActEV: Activities in Extended Video среди алгоритмов, способных распознавать действия на видео. В конкурсе принимали участие 39 алгоритмов, в финальном этапе ActEV-PC Independent Evaluation остались семь участников.
Такие системы могут широко применяться в коммерческих системах. Например, это позволяет автоматизировать поиск неправильно припаркованных автомобилей, оставленных предметов, а также курящих в неположенных местах граждан — и оперативно оповещать об этих действиях полицию. Система автоматического распознавания действий для правоохранительных органов особенно эффективна в сочетании с обширной системой видеонаблюдения, которая работает в связке с системой распознавания лиц.
Читать полностью »
Всем привет, я работаю программистом-исследователем в команде компьютерного зрения Mail.ru Group. Ко Дню Победы в этом году мы решили сделать проект по реставрации военных фотографий. Что такое реставрация фотографий? Она состоит из трех этапов:
В этой статье я детально пройдусь по каждому из этапов реставрации и расскажу, как и где мы брали данные, какие сети мы учили, что у нас получилось, на какие грабли мы наступили.
Читать полностью »
