H2O – библиотека машинного обучения, предназначенная как для локальных вычислений, так и с использованием кластеров, создаваемых непосредственно средствами H2O или же работая на кластере Spark. Интеграция H2O в кластеры Spark, создаваемые в Azure HDInsight, была добавлена недавно и в этой публикации (являющейся дополнением моей прошлой статьи: R и Spark) рассмотрим построение моделей машинного обучения используя H2O на таком кластере и сравним (время, метрика) его с моделями предоставляемых sparklyr, действительно ли H2O киллер-приложение для Spark?
Рубрика «ml» - 12
R c H2O на Spark в HDInsight
2017-08-07 в 6:50, admin, рубрики: "вода, azure, big data, h2o, hdinsight, Microsoft Azure, ml, R, spark, вода, высокая производительность, кругом вода", машинное обучениеАнонс Moscow Spark #2
2017-07-06 в 11:34, admin, рубрики: big data, ml, python, scala, spark, Блог компании Rambler&Co, машинное обучение
Как мы и обещали, наше мероприятие становится регулярным – 27 июля состоится Moscow Spark #2! Moscow Spark #1, организованный группой компаний Rambler&Co, собрал больше 200 участников, и мы надеемся, что жаркая погода, которая когда-нибудь установится в московском регионе, не помешает нам собрать столько же (и даже больше) участников в этот раз. Тем более, что мы нашли новых, интересных докладчиков.
Читать полностью »
Соревнование mlbootcamp от mail.ru. Кратко о рецепте второго места
2017-03-24 в 22:11, admin, рубрики: machine learning, mail boot camp, ml, mlbootcamp, python, машинное обучение, метки: mail boot camp, mlbootcampДобрый день, читатель! Данная статья расскажет о пути получения второго места на соревновании MLBootCamp III. Для тех, кто не в курсе — это соревнование по машинному обучению и анализу данных от Mail.Ru Group, проходило с 15 февраля по 15 марта.
В статье будет коротко про историю построения решения, немного советов про то, на чем набил шишек и благодарности.
Итак, поехали.
Читать полностью »
Cognitive Services & LUIS: Введение в распознавание естественного языка
2017-02-10 в 8:27, admin, рубрики: AI, artificial intelligence, data mining, LUIS, machine learning, microsoft, microsoft cognitive services, ml, Алгоритмы, Блог компании Microsoft, искусственный интеллект, когнитивные сервисы, машинное обучениеВ этой статье мы поговорим о понимании языка (о лингвистических вычислениях, таких как назначение меток, синтаксический анализ и так далее) и обратим особое внимание на два API: Linguistic Analysis API и интеллектуальную службу распознавания речи (LUIS). Если вы любите английский язык так же как русский и увлекаетесь обучением искусственного интеллекта, добро пожаловать под кат.
Глубокое обучение с подкреплением виртуального менеджера в игре против неэффективности
2017-01-17 в 13:59, admin, рубрики: AI, data mining, ml, phobos, python, искусственный интеллект, машинное обучение
Об успехах Google Deepmind сейчас знают и говорят. Алгоритмы DQN (Deep Q-Network) побеждают Человека с неплохим отрывом всё в большее количество игр. Достижения последних лет впечатляют: буквально за десятки минут обучения алгоритмы учатся и выигрывать человека в понг и другие игры Atari. Недавно вышли в третье измерение — побеждают человека в DOOM в реальном времени, а также учатся управлять машинами и вертолетами.
DQN использовался для обучения AlphaGo проигрыванием тысяч партий в одиночку. Когда это ещё не было модным, в 2015 году, предчувствуя развитие данного тренда, руководство Phobos в лице Алексея Спасского, заказало отделу Research & Development провести исследование. Необходимо было рассмотреть существующие технологий машинного обучения на предмет возможности использования их для автоматизации победы в играх управленческих. Таким образом, в данной статье пойдёт речь о проектирование самообучающегося алгоритма в игре виртуального управленца против живого коллектива за повышение производительности.
Специализация по машинному обучению на Coursera от Физтеха и Яндекса
2016-02-17 в 15:10, admin, рубрики: big data, coursera, ml, Алгоритмы, Блог компании Яндекс, курс от Физтеха, курс от Яндекса, машинное обучение, Программирование, физтех, ШАДВ начале года на Coursera открылся курс по машинному обучению от Яндекса и Вышки, о котором мы уже рассказывали. К моменту старта на него записались 14000 человек. Через час после открытия пользователи создали канал в Slack, где стали обсуждать программу. Сейчас слушателей уже 21000.
9 февраля на платформе стала доступна запись на специализацию по машинному обучению, которая разрабатывается нашими специалистами уже совместно с Физтехом. Она устроена таким образом, чтобы помочь слушателям плавно погрузиться в тему.
Специализация «Машинное обучение и анализ данных» состоит из пяти курсов и работой над собственным проектом. Обучение будет длиться несколько месяцев. Записаться на него можно до 19 февраля. Если вы не успеете это сделать, с 14 марта можно будет записаться на второй поток.
Авторы курса — сотрудники Яндекса, специалисты Yandex Data Factory, которые преподают в Физтехе. Константин Воронцов тоже среди них. Мы попросили некоторых из коллег рассказать, кому может быть полезна специализация и для чего она нужна. Также под катом — программа всех курсов.
Читать полностью »
Kaggle и Titanic — еще одно решение задачи с помощью Python
2015-12-28 в 16:16, admin, рубрики: kaggle, matplotlib, ml, pandas, python, sklearn, titanic, xdboost, машинное обучение, Программирование, Спортивное программированиеХочу поделиться опытом работы с задачей известного конкурса по машинному обучению от Kaggle. Этот конкурс позиционируется как конкурс для начинающих, а у меня как раз не было почти никакого практического опыта в этой области. Я немного знал теорию, но с реальными данными дела почти не имел и с питоном плотно не работал. В итоге, потратив пару предновогодних вечеров, набрал 0.80383 (первая четверть рейтинга).
В общем эта статья для еще начинающих от уже начавшего.
DevCon 2015: анонс третьей волны докладчиков конференции
2015-04-21 в 12:57, admin, рубрики: alm, android, azure, devcon, Game Insight, IoT, Microsoft SQL Server, ml, sql server, unity, unity3d, Visual Studio, windows, Блог компании Microsoft, конференции, разработка, разработка под windows, метки: visual studioДорогие друзья!
С удовольствием сообщаю вам, что билеты на крупнейшую конференцию Microsoft DevCon 2015 были распроданы за месяц до начала проведения! Мы наблюдали огромный интерес к конференции и продолжаем работать над тем, чтобы сделать DevCon 2015 самым заметным и интересным событием года.
Сегодня мы рады представить вам очередную третью волну докладчиков конференции DevCon 2015 и открыть вам некоторые темы и очередные подробности технической программы конференции. Ранее мы уже анонсировали несколько десятков докладчиков DevCon 2015, описание и подробную информацию о их докладах вы можете найти в этой и этой статьях.
Прежде всего, мы рады в очередной раз приветствовать на конференции Сергея Олонцева – одного из немногих обладателей самого высокого сертификата Microsoft Certified Master по SQL Server. Сергей представит на конференции замечательный доклад о внутреннем устройстве SQL Server 2014, а так же представит отдельный эксклюзивный для участников конференции мастер-класс “Оптимизация производительности в SQL Server до 2014 версии и в ней на примерах”!
Другим замечательным гостем конференции, уже не в первый раз, станет Ларри Либерман — продуктовый менеджер платформы Windows, Microsoft, США! Ларри, как и в прошлый раз приедет на DevCon 2015 для того, чтобы поделиться с участниками конференции самыми последними новинками платформы Windows для разработчиков, которые будут представлены на конференции Build 2015! Ларри Либерман сделает на DevCon два доклада, темы его выступлений мы раскроем сразу после проведения Build, следите за новостями на сайте конференции.
Читать полностью »