Привет! Совсем недавно мы проводили хакатон для разработчиков в Бухаресте и Клуже. Основной задачей группы в Клуже было создание эффективной программы-робота для чатов с поддержкой Endava и использованием Microsoft Graph и Q&A Maker. Сегодня мы расскажем об этом проекте, затронув управление аутентификацией для взаимодействия с программой-роботом посредством любого канала, интегрирование Q&A Maker и использование Microsoft Graph в сочетании с SharePoint. Подробнее под катом!
Рубрика «машинное обучение» - 163
Создание чатбота с использованием Q&A Maker и Microsoft Graph
2018-03-27 в 7:06, admin, рубрики: AI, api, azure, bot, C#, LUIS, maker, microsoft, Microsoft Azure, q&a, qanda, sharepoint, аутентификация, Блог компании Microsoft, ИИ, машинное обучение, чатбот
Пойди туда, не знаю куда: по следам конференции SmartData
2018-03-27 в 6:49, admin, рубрики: big data, data mining, data science, SmartData, Алгоритмы, Блог компании JUG.ru Group, искусственный интеллект, математика, машинное обучение
Конференций, связанных с AI / ML / data science в последнее время и у нас стало довольно много. Организаторы до сих пор ищут форматы, концепции конференций меняются, но состав спикеров повторяется процентов на 50.
Задача поиска формата стояла и перед программным комитетом SmartData. Задача эта довольно размытая. Кто тот человек, который занимается анализом и / или обработкой данных, что ему интересно? От участников конференции мы получили частичные ответы на эти вопросы, но данных хочется больше. В связи с этим хочу поделиться тем представлением об идеальном мире, которое сложилось на данный момент, и пригласить читателей к дискуссии в комментариях. Помогите сделать такую конференцию, на которую вам потом самим захочется сходить.
Кроме вопросов о ваших интересах и задачах, за кликом вас ждут две ранее не публиковавшиеся видеозаписи выступлений с первой конференции, технический приём написания текстов на Хабр и один забавный факт о беспилотных автомобилях.
Читать полностью »
Марвин Мински «The Emotion Machine»: Глава 2 «Мы хотим создать машину, которая гордилась бы нами»
2018-03-26 в 17:57, admin, рубрики: Marvin Minsky, Алгоритмы, Блог компании Philtech-акселератор, машинное обучение, Профессиональная литература, Читальный зал
§2-7 Связи новорожденных и животных
«Мы хотим создать машину, которая гордилась бы нами.»
— Дэнни Хиллис, 1983
Малышка Кэрол любит исследовать, но также ей нравится быть рядом со своей матерью, поэтому, когда расстояние между ними растёт, Кэрол пытается быстро сократить дистанцию. Но как только она обнаруживает себя в одиночестве, Кэрол начинает плакать и искать свою маму. Точно такое же поведение также проявляется, когда мама Кэрол рядом, однако Кэрол испытывает тревогу или страх, например, при приближении незнакомца.
Естественно, эта зависимость проистекает из нашей инфантильной беспомощности: ни один младенец не выживет, если уйдет от родительской опеки. Конечно, это происходит, не потому что младенцы не могут долго двигаться самостоятельно, а связано с тем недостатком, что в первые несколько месяцев младенцы не могут следовать за своими матерями. К счастью, люди обычно не испытывают большого вреда от этого недостатка, потому что мы развили систему обратной связи: мать Кэрол почти всегда осознаёт (в разной степени в разное время) то, что происходит с её дочерью, и поэтому её внимание быстро возвращается на ребёнка при малейшем подозрении если что-то идёт не так.
Читать полностью »
Как мы предсказываем дату окончания и оценку проекта с помощью нейросети
2018-03-26 в 13:55, admin, рубрики: Алгоритмы, Блог компании Сбербанк, машинное обучение, нейросеть, прогнозирование, Сбербанк, управление проектами, управление разработкойОсенью 2017 года в Сбертехе провели внутренний хакатон по машинному обучению. Один из победителей Николай Желтовский представил проект нейросети, которая прогнозирует даты завершения производственных задач. После этого мы решили попробовать ее на других задачах — прогнозировать дату закрытия и внутреннюю итоговую оценку проекта на основе анализа данных по закрытым проектам. Сейчас эта система вырастает в виртуального помощника, который будет помогать руководителям находить потенциальные проблемы в проектах и наилучшие способы их решения. В этом посте мы расскажем о технической реализации.
Читать полностью »
Как оптимизировать DevOps с помощью машинного обучения
2018-03-26 в 8:23, admin, рубрики: devops, Блог компании Bigd.host, машинное обучение, системное администрированиеПопулярная сегодня методология разработки программного обеспечения DevOps (development и operations) нацелена на активное взаимодействие и интеграцию специалистов по разработке и специалистов по информационно-технологическому обслуживанию. Характерно, что в ходе DevOps генерируются большие объемы данных, которые можно использовать для упрощения рабочих процессов, оркестрации, мониторинга, диагностики неисправностей или других задач. Проблема в том, что данных этих слишком много. Одни только серверные логи могут накапливать несколько сотен мегабайт в неделю. Если используются инструменты мониторинга, то за короткий промежуток времени генерируются мегабайты и гигабайты данных.
Результат предсказуем: разработчики не просматривают непосредственно сами данные, а устанавливают пороговые значения, то есть ищут исключения, а не занимаются аналитикой данных. Но даже с помощью современных аналитических инструментов вы должны знать, что искать.
Что мы знаем о ландшафте функции потерь в машинном обучении?
2018-03-26 в 6:00, admin, рубрики: gradient descent, loss, loss function, machine learning, градиентный спуск, математика, машинное обучение, функция потерьTL;DR
- В глубоких нейронных сетях основным препятствием для обучения являются седловые точки, а не локальные минимумы, как считалось ранее.
- Большинство локальных минимумов целевой функции сконцентрированы в сравнительно небольшом подпространстве весов. Соответствующие этим минимумам сети дают примерно одинаковый loss на тестовом датасете.
- Сложность ландшафта увеличивается по приближении к глобальному минимуму. Почти во всём объёме пространства весов подавляющая часть седловых точек имеет большое количество направлений, по которым из них можно сбежать. Чем ближе к центру кластера минимумов, тем меньше «направлений побега» у встреченных на пути седловых точек.
- Всё ещё неясно, как найти в подпространстве минимумов глобальный экстремум. Похоже, что это очень сложно; и не факт, что типичный глобальный минимум намного лучше типичного локального.
- В сгустке минимумов существуют особые кривые, соединяющие локальные минимумы. Функция потерь на этих кривых принимает лишь чуть большие значения, чем в самих минимумах.
- Некоторые исследователи считают, что широкие минимумы (с большим радиусом «ямы» вокруг) лучше узких. Но есть и немало учёных, которые полагают, что связь ширины минимума с обобщающей способностью сети очень слаба.
- Skip connections делают ландшафт более дружелюбным для градиентного спуска. Похоже, что вообще нет причин не использовать residual learning.
- Чем шире слои в сети и чем их меньше (до определённого предела), тем глаже ландшафт целевой функции. Увы, чем более избыточна параметризация сети, тем больше нейросеть подвержена переобучению.
Всё, листайте дальше. Я даже КДПВ ставить не буду.
Читать полностью »
Анализ данных в спорте: взаимодействие учёных, клубов и федераций. Лекция в Яндексе
2018-03-25 в 8:17, admin, рубрики: анализ данных, Блог компании Яндекс, допинг, Исследования и прогнозы в IT, машинное обучение, применение математических методов, спорт, ставки на спорт, футболМы проводим мероприятия не только по темам, которыми занимаемся сами. В феврале мы собрали специалистов по использованию машинного обучения в спорте. Удивительно, как много процессов связывают эти две сферы — анализ данных и спорт — и какое количество нерешенных проблем возникает на стыке между ними. Перед вами доклад Дмитрия Дагаева — заместителя проректора НИУ ВШЭ.
— Сегодня я постараюсь коротко рассказать о задачах, которые уже решаются с помощью анализа данных в спорте. Мы увидим, что именно взаимодействие агентов является ключевым фактором, который позволяет решать эти задачи.
Читать полностью »
Марвин Мински «The Emotion Machine»: Глава 2 «Совесть, ценности и собственные идеалы»
2018-03-24 в 22:05, admin, рубрики: Marvin Minsky, Алгоритмы, Блог компании Philtech-акселератор, машинное обучение, Профессиональная литература, Читальный зал
§2-5 Обучение и удовольствие
Когда Кэрол пыталась наполнить своё ведёрко, она попробовала несколько экспериментов до того, как у неё получилось задуманное благодаря использованию ложки. Когда она понимала, что её цель достигнута, она ощущала удовлетворение и чувство полученной награды, и тогда эти приятные чувства каким-то образом помогли ей обучиться и запомнить опыт. Итак, этот процесс включал множество шагов:
- Кэрол наполнила своё ведёрко ложкой.
- Она поняла, что её цель достигнута.
- Затем она почувствовала удовлетворение своим успехом.
- Затем, как-то, это удовлетворение помогло ей запомнить опыт.
Сейчас мы довольны, что она чувствовала себя удовлетворённой, но какие функции обеспечиваются всеми этими чувствами, и почему этот процесс требует так много шагов? Какую роль может играть чувство удовольствия в процесс создания воспоминаний? Почему Кэрол просто не могла запомнить какой метод сработал, а какой — нет?
Читать полностью »
«Cделать красиво». Визуализация обучения с Tensorboard от Google
2018-03-24 в 19:37, admin, рубрики: Google, Google API, python, tensorboard, TensorFlow, визуализация данных, инкарт, машинное обучение, нейронные сети
Красота, как известно, требует жертв, но и мир обещает спасти. Достаточно свежий (2015г) визуализатор от Google призван помочь разобраться с процессами, происходящими в сетях глубокого обучения. Звучит заманчиво.
Красочный интерфейс и громкие обещания затянули на разбор этого дизайнерского шайтана, с неинтуитивно отлаживающимися глюками. API непривычно скудный и часто обновляющийся, примеры в сети однотипны (глаза уже не могут смотреть на заезженный MNIST).
Чтобы опыт не прошел зря, решила поделиться максимально простым описанием инсайтов с хабравчанами, ибо рускоязычных гайдов мало, а англоязычные все как на одно лицо. Может, такое введение поможет вам сократить время на знакомство с Tensorboard и количество ругательных слов на старте. Также буду рада узнать, какие результаты он дал в вашем проекте и помог ли в реальной задаче.
Читать полностью »
Пощупать нейросети или конструктор нейронных сетей
2018-03-24 в 12:58, admin, рубрики: визуализация данных, конструктор, машинное обучение, нейронные сетиЯ давно интересовался нейросетями, но только с позиции зрителя – следил за новыми возможностями, которые они дают по сравнению с обычным программированием. Но никогда не лез ни в теорию, ни в практику. И вдруг (после сенсационной новости о AlphaZero) мне захотелось сделать свою нейросеть. Посмотрев несколько уроков по этой теме на YouTube, я немного врубился в теорию и перешёл к практике. В итоге я сделал даже лучше, чем свою нейросеть. Получился конструктор нейросетей и наглядное пособие по ним (то есть можно смотреть, что творится внутри нейросети). Вот как это выглядит:
