Рубрика «машинное обучение» - 171

image

§2-7 Связи новорожденных и животных

«Мы хотим создать машину, которая гордилась бы нами.»
— Дэнни Хиллис, 1983

Малышка Кэрол любит исследовать, но также ей нравится быть рядом со своей матерью, поэтому, когда расстояние между ними растёт, Кэрол пытается быстро сократить дистанцию. Но как только она обнаруживает себя в одиночестве, Кэрол начинает плакать и искать свою маму. Точно такое же поведение также проявляется, когда мама Кэрол рядом, однако Кэрол испытывает тревогу или страх, например, при приближении незнакомца.

Естественно, эта зависимость проистекает из нашей инфантильной беспомощности: ни один младенец не выживет, если уйдет от родительской опеки. Конечно, это происходит, не потому что младенцы не могут долго двигаться самостоятельно, а связано с тем недостатком, что в первые несколько месяцев младенцы не могут следовать за своими матерями. К счастью, люди обычно не испытывают большого вреда от этого недостатка, потому что мы развили систему обратной связи: мать Кэрол почти всегда осознаёт (в разной степени в разное время) то, что происходит с её дочерью, и поэтому её внимание быстро возвращается на ребёнка при малейшем подозрении если что-то идёт не так.
Читать полностью »

Осенью 2017 года в Сбертехе провели внутренний хакатон по машинному обучению. Один из победителей Николай Желтовский представил проект нейросети, которая прогнозирует даты завершения производственных задач. После этого мы решили попробовать ее на других задачах — прогнозировать дату закрытия и внутреннюю итоговую оценку проекта на основе анализа данных по закрытым проектам. Сейчас эта система вырастает в виртуального помощника, который будет помогать руководителям находить потенциальные проблемы в проектах и наилучшие способы их решения. В этом посте мы расскажем о технической реализации.
 
Как мы предсказываем дату окончания и оценку проекта с помощью нейросети - 1
Читать полностью »

Популярная сегодня методология разработки программного обеспечения DevOps (development и operations) нацелена на активное взаимодействие и интеграцию специалистов по разработке и специалистов по информационно-технологическому обслуживанию. Характерно, что в ходе DevOps генерируются большие объемы данных, которые можно использовать для упрощения рабочих процессов, оркестрации, мониторинга, диагностики неисправностей или других задач. Проблема в том, что данных этих слишком много. Одни только серверные логи могут накапливать несколько сотен мегабайт в неделю. Если используются инструменты мониторинга, то за короткий промежуток времени генерируются мегабайты и гигабайты данных.

Результат предсказуем: разработчики не просматривают непосредственно сами данные, а устанавливают пороговые значения, то есть ищут исключения, а не занимаются аналитикой данных. Но даже с помощью современных аналитических инструментов вы должны знать, что искать.

Как оптимизировать DevOps с помощью машинного обучения - 1


Читать полностью »

TL;DR

  1. В глубоких нейронных сетях основным препятствием для обучения являются седловые точки, а не локальные минимумы, как считалось ранее.
  2. Большинство локальных минимумов целевой функции сконцентрированы в сравнительно небольшом подпространстве весов. Соответствующие этим минимумам сети дают примерно одинаковый loss на тестовом датасете.
  3. Сложность ландшафта увеличивается по приближении к глобальному минимуму. Почти во всём объёме пространства весов подавляющая часть седловых точек имеет большое количество направлений, по которым из них можно сбежать. Чем ближе к центру кластера минимумов, тем меньше «направлений побега» у встреченных на пути седловых точек.
  4. Всё ещё неясно, как найти в подпространстве минимумов глобальный экстремум. Похоже, что это очень сложно; и не факт, что типичный глобальный минимум намного лучше типичного локального.
  5. В сгустке минимумов существуют особые кривые, соединяющие локальные минимумы. Функция потерь на этих кривых принимает лишь чуть большие значения, чем в самих минимумах.
  6. Некоторые исследователи считают, что широкие минимумы (с большим радиусом «ямы» вокруг) лучше узких. Но есть и немало учёных, которые полагают, что связь ширины минимума с обобщающей способностью сети очень слаба.
  7. Skip connections делают ландшафт более дружелюбным для градиентного спуска. Похоже, что вообще нет причин не использовать residual learning.
  8. Чем шире слои в сети и чем их меньше (до определённого предела), тем глаже ландшафт целевой функции. Увы, чем более избыточна параметризация сети, тем больше нейросеть подвержена переобучению.

Всё, листайте дальше. Я даже КДПВ ставить не буду.
Читать полностью »

Мы проводим мероприятия не только по темам, которыми занимаемся сами. В феврале мы собрали специалистов по использованию машинного обучения в спорте. Удивительно, как много процессов связывают эти две сферы — анализ данных и спорт — и какое количество нерешенных проблем возникает на стыке между ними. Перед вами доклад Дмитрия Дагаева — заместителя проректора НИУ ВШЭ.

— Сегодня я постараюсь коротко рассказать о задачах, которые уже решаются с помощью анализа данных в спорте. Мы увидим, что именно взаимодействие агентов является ключевым фактором, который позволяет решать эти задачи.
Читать полностью »

image

§2-5 Обучение и удовольствие

Когда Кэрол пыталась наполнить своё ведёрко, она попробовала несколько экспериментов до того, как у неё получилось задуманное благодаря использованию ложки. Когда она понимала, что её цель достигнута, она ощущала удовлетворение и чувство полученной награды, и тогда эти приятные чувства каким-то образом помогли ей обучиться и запомнить опыт. Итак, этот процесс включал множество шагов:

  • Кэрол наполнила своё ведёрко ложкой.
  • Она поняла, что её цель достигнута.
  • Затем она почувствовала удовлетворение своим успехом.
  • Затем, как-то, это удовлетворение помогло ей запомнить опыт.

Сейчас мы довольны, что она чувствовала себя удовлетворённой, но какие функции обеспечиваются всеми этими чувствами, и почему этот процесс требует так много шагов? Какую роль может играть чувство удовольствия в процесс создания воспоминаний? Почему Кэрол просто не могла запомнить какой метод сработал, а какой — нет?
Читать полностью »

image

Красота, как известно, требует жертв, но и мир обещает спасти. Достаточно свежий (2015г) визуализатор от Google призван помочь разобраться с процессами, происходящими в сетях глубокого обучения. Звучит заманчиво.
Красочный интерфейс и громкие обещания затянули на разбор этого дизайнерского шайтана, с неинтуитивно отлаживающимися глюками. API непривычно скудный и часто обновляющийся, примеры в сети однотипны (глаза уже не могут смотреть на заезженный MNIST).
Чтобы опыт не прошел зря, решила поделиться максимально простым описанием инсайтов с хабравчанами, ибо рускоязычных гайдов мало, а англоязычные все как на одно лицо. Может, такое введение поможет вам сократить время на знакомство с Tensorboard и количество ругательных слов на старте. Также буду рада узнать, какие результаты он дал в вашем проекте и помог ли в реальной задаче.
Читать полностью »

Я давно интересовался нейросетями, но только с позиции зрителя – следил за новыми возможностями, которые они дают по сравнению с обычным программированием. Но никогда не лез ни в теорию, ни в практику. И вдруг (после сенсационной новости о AlphaZero) мне захотелось сделать свою нейросеть. Посмотрев несколько уроков по этой теме на YouTube, я немного врубился в теорию и перешёл к практике. В итоге я сделал даже лучше, чем свою нейросеть. Получился конструктор нейросетей и наглядное пособие по ним (то есть можно смотреть, что творится внутри нейросети). Вот как это выглядит:

Пощупать нейросети или конструктор нейронных сетей - 1
Читать полностью »

image

§ 2-3 Отпечатыватели (Imprimers)

“Сейчас, стыд является ментальной мерой позора, в которой мы сжимаемся от осознания позора, а не от последствий действий, и нам остается только предполагать, какое составляется о нас мнение, из этого следует, что люди, перед которыми мы чувствуем стыд- это те, чье мнение имеет для нас значение. Эти люди являются: те, кем мы восхищаемся; те, кто восхищается нами; те, восхищение которых мы желаем добиться; те, с которыми мы противоборствуем; и те, чье мнение мы уважаем.”
— Аристотель в Риторике 2,6

Наш язык имеет огромное количество слов для описания нашего эмоционального состояния. Когда мы описывали игру Кэрол с грязью, мы уже должны были использовать целую дюжину: влечение, смятение, тревогу, самоуверенность, разочарованность, беспокойство, фрустрацию, страх, склонность, удовольствие, гордость, удовлетворение, стыд и печаль.

Почему вообще у нас есть подобные состояния, и почему этих состояний так много? Почему Кэрол ощущала себя благодарно и гордо, когда она получала похвалу от своей матери? И почему это все, каким-то образом, возвышает цели, делая их более желанными?

Студент: Вы уже начали обсуждать, что она должна иметь что-то вроде “связующих элементов”, которые заставляют её реагировать подобным специфическим образом — прямо как говорил Аристотель, из-за беспокойства её матери. Но это никак не объясняет почему одна только похвала не может сделать цель желанной, а это зависит от, ммм…, я не могу придумать правильное слово для описания этого — “человека к которому она привязана”?
Читать полностью »

image

2.1. Играя с грязью

«Это не просто изучение вещей, которые важны. Это обучение тому, что делать с тем, что вы учите и познанием, почему вы изучаете все эти важные вещи» — Нортон Джастер, рассказ Фантомный Киоск (The Phantom Tollbooth)

Ребенок по имени Кэрол играет с грязью. Оборудованная вилкой, ложкой и чашкой её задача испечь воображаемый пирог, таким же способом, как готовить её мать. Давайте предположим, что она играет одна и вообразим три вещи, которые могут случиться с ней:

Она играет одна. Она хочет наполнить свою чашку грязью и сперва делает это при помощи своей вилки, однако она терпит неудачу потому что грязь просачивается через зубчики вилки. Она разочарованна и ощущает фрустрацию. Но, когда у неё получается задуманное благодаря использованию ложки, Кэрол довольна и ощущает удовлетворение.

Что может извлечь из этой ситуации Кэрол? Она получила знание методом проб и ошибок, о том, что вилки не очень-то приспособлены для переноса грязи. Но благодаря опыту с ложкой она приобрела знание, что ложки являются хорошим инструментом для переноса жидкости. Благодаря ошибкам мы понимаем какой метод не работает — в то время как успех учит нас какой метод принесёт успех. [Пояснения в §9-2.]

Заметьте, что Кэрол сделала это когда работала в одиночестве — и получила новые знания самостоятельно. В случае обучения методом проб и ошибок ей не потребовался учитель для оказания помощи.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js