Привет! Совсем недавно мы кратко рассказывали о Natural Language Interfaces (Естественно-Языковых Интерфейсах). Ну а сегодня у нас не кратко. Под катом вы найдете полноценный рассказ о создании NL2API для Web-API. Наши коллеги из подразделения Research опробовали уникальный подход к сбору обучающих данных для фреймворка. Присоединяйтесь!
Рубрика «машинное обучение» - 151
NL2API: создание естественно-языковых интерфейсов для Web API
2018-08-02 в 7:27, admin, рубрики: api, azure, GUI, IoT, microsoft, NL2API, ажур, Блог компании Microsoft, Веб, веб-API, естественно-языковой интерфейс, иерархическая вероятностная модель, Интернет вещей, искусственный интеллект, краудсорсинг, машинное обучение, облако, Разработка веб-сайтов
DZ Online Tech: ABBYY. Как не запутаться в нейронных сетях?
2018-08-01 в 15:23, admin, рубрики: ИИ и машинное обучение, искусственный интеллект, машинное обучение, нейронные сетиМы (DZ Systems) уже второй год снимаем серию передач о цифровой трансформации. Обычно это передачи «про бизнес», в основном ориентированные на топ-менеджеров и призванные помочь разобраться в бизнес-ценности того, что называется цифровая трансформация.
Но в этом году снимаем так же и вторую «линейку» передач — DZ Online Tech, теперь уже ориентированную на технологические аспекты той же темы. Если коротко — о том, что находится «под капотом».
Ниже — расшифровка очередной такой передачи, в которой мы с Иваном Ямщиковым (Яндекс, ABBYY, да и вообще профессионал высокого класса) говорим о применении нейронных сетей в современном мире.
Если интересно, можно посмотреть и саму передачу.
А для тех, кто любит читать — расшифровка ниже:
— Здравствуйте. Наш сегодняшний гость – Иван Ямщиков из компании ABBYY, который
расскажет нам как устроен современный искусственный интеллект.
По отношению к AI условно есть две позиции: люди, которые говорят: «Мы не хотим
ничего понимать про суть происходящего в системе. У нас есть статистические методы,
которые сами вынут модель из внешней жизни. Эта модель будет правильной, она будет
чувствовать все семантические тонкости». И есть люди, которые говорят: «Нет, так
нельзя. Мы же понимаем, что происходит. Мы это понимание должны вложить в систему
искусственного интеллекта, и тогда она будет ценнее, лучше и качественнее». Эта битва
имеет внутри себя какие-то критерии?
— Давай я объясню на менее философском языке. Есть люди, которые говорят: «Нам нужны более
сильные, более производительные алгоритмы и бОльшие объёмы данных. Мы возьмём более
производительный алгоритм, и он на бОльшем объёме даст нам бОльшее качество целевой
метрики, неважно какой». Я не знаю людей, которые говорят, что им не нужны данные или
алгоритмы. Поэтому у второй группы людей, на мой взгляд, подход следующий: «Помимо
всего этого нам бы неплохо ещё человеческой разметки в том или ином виде, какое-то
экспертное знание, добавить поверх».
Читать полностью »
Учим Искусственный Интеллект играть в игру
2018-08-01 в 10:15, admin, рубрики: javascript, Алгоритмы, искусственный интеллект, машинное обучение, ПрограммированиеДоброго времени суток, дорогой читатель!
В данной статье мы разработаем нейронную сеть, которая сможет на неплохом уровне проходить созданную специально для неё игру.
Примечание: данная статья не объясняет термин "нейронная сеть" и всё, что с ним связано, а также не предоставляет базовую информацию об обучении сети методом трассировки. Рекомендуем кратко ознакомиться с этими понятиями до прочтения статьи
Читать полностью »
Оптическая нейросеть
2018-07-31 в 19:19, admin, рубрики: Diffractive Deep Neural Network, машинное обучение, Научно-популярное, оптическая нейросеть, физика
Обученная многослойная фазовая маска (классификатор рукописных символов). Справа показана физическая модель оптической нейросети D²NN, напечатанная на 3D-принтере: слои 8×8 см с расстоянием 3 см друг между другом
Группа исследователей из Калифорнийского университета в Лос-Анджелесе разработала новый тип нейронной сети, которая в работе использует свет вместо электричества. В журнале Science опубликована статья с описанием идеи, рабочего устройства, его производительности и типов приложений, которые, по их авторов, хорошо вычислять в нейросети нового типа.
Полностью оптический фреймворк глубокого обучения Diffractive Deep Neural Network (D²NN), который физически сформирован из множества отражающих или прозрачных поверхностей. Эти поверхности работают сообща, выполняя произвольную функцию, усвоенную в результате обучения. В то время как получение результата и прогнозирование в физической сети организовано полностью оптически, обучающая часть с проектированием структуры отражающих поверхностей рассчитывается на компьютере.
Читать полностью »
Система машинного зрения по трейлеру фильма предсказывает, кто придёт в кинотеатр
2018-07-31 в 12:27, admin, рубрики: искусственный интеллект, машинное зрение, машинное обучение, Работа с видео
Схема гибридной модели рекомендаций Merlin Video для определения аудитории фильмов. Слой логической регрессии сочетает модель коллективной фильтрации с информацией о частоте и сроке посещения кинотеатра, чтобы вычислить вероятность желания посмотреть этот кинофильм. Модель обучена от начала до конца (end-to-end), а потеря функции логической регрессии обратно распространяется по всем обучаемым компонентам
Выход трейлера — самый важный элемент в подготовке кинопремьеры. Зрелищный трейлер повышает рейтинг зрительских ожиданий, знакомит зрителей с сюжетом, представляет главных героев, передаёт общее настроение картины. В то же время по отзывам на трейлер создатели кинокартины получают возможность понять, какие аспекты фильма нравятся или не нравятся зрителям — эта информация обычно становится основой для дальнейшей маркетинговой кампании. Трейлер напрямую коррелирует со сборами в первые дни показа. Затем уже цифра больших сборов в первые дни привлекает внимание массовой аудитории и СМИ, что во многом обеспечивает общий коммерческий успех картины.
Читать полностью »
История первого места на ML Boot Camp VI
2018-07-31 в 6:53, admin, рубрики: machine learning, Machine Learning Boot Camp, mail.ru, ML Boot Camp, python, машинное обучение, Спортивное программированиеMail.ru уже не первый год проводит чемпионаты по машинному обучению, каждый раз задача по-своему интересна и по-своему сложна. Я участвую в соревнованиях четвертый раз, мне очень нравится платформа и организация, и именно с буткемпов начался мой путь в соревновательный machine learning, но первое место удалось занять впервые. В статье я расскажу как показать стабильный результат, не переобучившись ни на публичный лидерборд, ни на отложенные выборки, если тестовая часть существенно отлична от тренировочной части данных.
Задача
Полный текст задачи доступен по → ссылке. Вкратце: есть 10 гб данных, где каждая строка содержит три json'а вида «ключ: счетчик», некая категория, некая временная метка и идентификатор пользователя. Одному пользователю может соответствовать множество записей. Требуется определить к какому классу относится пользователь, первому или второму. Метрикой качества для модели является ROC-AUC, о котором отлично написано в блоге Александра Дьяконова[1].
Пример записи в файле
00000d2994b6df9239901389031acaac 5 {"809001":2,"848545":2,"565828":1,"490363":1}
{"85789":1,"238490":1,"32285":1,"103987":1,"16507":2,"6477":1,"92797":2} {} 39
Игра для улучшения качества Википедии
2018-07-30 в 16:38, admin, рубрики: big data, WikiBest, Википедия, игры, искусственный интеллект, качество данных, машинное обучение, наука о данных, открытые данные, разработка игрСегодня была анонсирована бета версия онлайн-игры WikiBest, которая является частью научных исследований в области качества данных в Википедии. Примечательно, что в настоящее время игра позволяет сравнивать качество данных в 5 языковых версиях Википедии: русский, украинский, белорусский, польский, английский. В скором будущем планируется расширить количество языков.
Как «Додо Пицца» решает проблемы бизнеса с помощью машинного обучения
2018-07-30 в 7:52, admin, рубрики: DBrain, ivideon, Блог компании Ivideon, будущее здесь, видеоаналитика, видеонаблюдение, детектор очередей, додо, камера, машинное обучение, нейросеть, облачные сервисы, облачный сервис, пицца, подсчет посетителей, Работа с видео
«Пиццерии будущего» появляются по всему миру. На фото – Zume Pizza из Калифорнии
В прекрасной России будущего вы зайдёте в пиццерию, посетите почтовое отделение или банк, возьмёте нужную вещь – и спокойно уйдёте. Не будет никаких очередей. Просто автоматическое списывание денег с вашего счета. При этом качество товаров значительно возрастет, ведь проверять их будут машины, а не человек.
Облачные решения в ближайшие годы изменят мир ритейла. VR, AR, видеоаналитика, нейросети – все эти технологии связаны с облаками и попадают в прямую зону ответственности VSaaS.
Читать полностью »
Правда и ложь систем распознавания лиц
2018-07-29 в 22:02, admin, рубрики: data mining, face recognition, mtccnn, NIST, Ntech, visionlabs, Vocord, Алгоритмы, биометрия, Блог компании Recognitor, лица, машинное обучение, обработка изображений, распознавание лицПожалуй нет ни одной другой технологии сегодня, вокруг которой было бы столько мифов, лжи и некомпетентности. Врут журналисты, рассказывающие о технологии, врут политики которые говорят о успешном внедрении, врут большинство продавцов технологий. Каждый месяц я вижу последствия того как люди пробуют внедрить распознавание лиц в системы которые не смогут с ним работать.
Тема этой статьи давным-давно наболела, но было всё как-то лень её писать. Много текста, который я уже раз двадцать повторял разным людям. Но, прочитав очередную пачку треша всё же решил что пора. Буду давать ссылку на эту статью.
Итак. В статье я отвечу на несколько простых вопросов:
- Можно ли распознать вас на улице? И насколько автоматически/достоверно?
- Позавчера писали, что в Московском метро задерживают преступников, а вчера писали что в Лондоне не могут. А ещё в Китае распознают всех-всех на улице. А тут говорят, что 28 конгрессменов США преступники. Или вот, поймали вора.
- Кто сейчас выпускает решения распознавания по лицам в чём разница решений, особенности технологий?
Большая часть ответов будет доказательной, с сылкой на исследования где показаны ключевые параметры алгоритмов + с математикой расчёта. Малая часть будет базироваться на опыте внедрения и эксплуатации различных биометрических систем.
Я не буду вдаваться в подробности того как сейчас реализовано распознавание лиц. На Хабре есть много хороших статей на эту тему: а, б, с (их сильно больше, конечно, это всплывающие в памяти). Но всё же некоторые моменты, которые влияют на разные решения — я буду описывать. Так что прочтение хотя бы одной из статей выше — упростит понимание этой статьи. Начнём!
Читать полностью »
Инструменты Apple для машинного обучения
2018-07-26 в 14:22, admin, рубрики: Core ML, create ml, iOS, machine learning, swift, Vision, Блог компании REDMADROBOT, машинное обучение, разработка мобильных приложений, разработка под iOS
В последние несколько лет тема искусственного интеллекта и машинного обучения перестала быть для людей чем-то из области фантастики и прочно вошла в повседневную жизнь. Социальные сети предлагают посетить интересные нам мероприятия, автомобили на дорогах научились передвигаться без участия водителя, а голосовой помощник в телефоне подсказывает, когда лучше выходить из дома, чтобы избежать пробок, и нужно ли брать с собой зонт.
В данной статье мы рассмотрим инструменты для машинного обучения, которые предлагает разработчикам Apple, разберем, что нового в этой области компания показала на WWDC18, и попробуем понять, как можно применить это все на практике.