Я уже делился рассказом о нашем опыте применения искусственного интеллекта в поиске на hh.ru, а сегодня хотел бы остановиться на измерении качества этого поиска поподробнее.
Для нормальной работы поиска крайне важна система метрик — локальных, A/B-тестов, очередей на проде и т. д., и эта система требует отдельного внимания и ресурсов. Неправильно думать, что достаточно просто запилить крутой ML и прикрутить все эти метрики «скотчем»; недостаточно также измерять качество работы уже работающей системы — не так уж важно, использует ли она ML или представляет собой Lucene «из коробки». Читать полностью »
Рубрика «машинное обучение» - 160
Как в hh.ru тестируют поиск по вакансиям
2018-04-11 в 10:48, admin, рубрики: data science, Блог компании HeadHunter, машинное обучение, метрики продукта, поисковые технологии, Тестирование веб-сервисовПять мифов о Data Science
2018-04-11 в 10:14, admin, рубрики: big data, career, data mining, data science, machine learning, python, Блог компании ID Finance, Карьера в IT-индустрии, машинное обучениеМеня зовут Иван Серов, я работаю в департаменте Data Science финтех-компании ID Finance. Data scientist –довольно молодая, но очень востребованная профессия, которая обросла множеством мифов. В этом посте я расскажу о нескольких заблуждениях, с которыми сталкиваются начинающие дата-саентисты (DS).
Generative adversarial networks
2018-04-11 в 9:26, admin, рубрики: python, TensorFlow, Алгоритмы, математика, машинное обучение, нейронные сети, Программирование, теория вероятностейВ прошлой статье мы рассмотрели простейшую линейную генеративную модель PPCA. Вторая генеративная модель, которую мы рассмотрим — Generative Adversarial Networks, сокращенно GAN. В этой статье мы рассмотрим самую базовую версию этой модели, оставив продвинутые версии и сравнение с другими подходами в генеративном моделировании на следующие главы.
Как пользователи учат Яндекс предупреждать о телефонном спаме
2018-04-11 в 8:45, admin, рубрики: catboost, Блог компании Яндекс, информационная безопасность, машинное обучение, определитель номеров, отзывы, приложение яндекс, разработка мобильных приложений, спам, толока, яндексС телефонным спамом знакомы все, кто засветил свой номер в интернете, заполнил сомнительную анкету в офлайне или кому просто не повезло попасть в многочисленные базы. Сегодня мы расскажем читателям Хабрахабра о том, как с помощью отзывов пользователей и машинного обучения мы научили приложение Яндекс предупреждать о нежелательных звонках.
Звонки с незнакомых номеров – это всегда тяжелый выбор. Звонит ли это долгожданный курьер или очередной оператор с «уникальным» рекламным предложением? Для решения этой проблемы существуют мобильные приложения, которые работают на базе справочников известных организаций. Отчасти они решают проблему. Но наиболее агрессивные спамеры, сомнительные коллекторы и злоумышленники в такие базы не попадают. Что делать?
Марвин Мински «The Emotion Machine»: Глава 1 «Как мы управляем собой»
2018-04-10 в 11:09, admin, рубрики: Marvin Minsky, Алгоритмы, Блог компании Philtech-акселератор, машинное обучение, Профессиональная литература, Читальный залОтец искусственного интеллекта размышляет о том, как сделать машину, которая бы гордилась нами. Марвин Мински был довольно жестким ученым и то, что он своим «скальпелем познания» исследует тему чувств и эмоций, что же делает нас людьми, довольно интересно и полезно. Книга — отличный образец того, как «ИТишным подходом» попробовать осмыслить «человеческое»: ценности, идеалы, любовь, боль, здравый смысл.
§1-2 Море Ментальных Тайн
Время от времени мы погружаемся в вопросы о том, как мы управляем собой.
- Почему я трачу так много своего времени?
- Что определяет мои предпочтения?
- Почему у меня такие странные фантазии?
- Почему я нахожу математику такой сложной?
- Почему я боюсь высоты и толпы?
- Что заставляет меня пристраститься к упражнениям?
Но мы не может даже и надеяться на понимание этих вещей, без наличия адекватных ответов на следующие вопросы:
- Как наш разум создаёт новые идеи?
- Каковы основы наших убеждений?
- Как мы учимся на собственно опыте?
- Как нам удаётся рассуждать и думать?
Кратко говоря, нам нужно получить более глубокое понимание процессов, которые мы называем мышлением. Но всякий раз, когда мы начинаем размышлять об этом, мы сталкиваемся с ещё большим количеством загадок.
- Какова природа Сознания?
- Каковы наши чувства и как они работают? Как наш мозг Воображает вещи?
- Как наше тело связано с нашим умом?
- Что формирует наши ценности, цели и идеалы?
Применение сверточных нейронных сетей для задач NLP
2018-04-10 в 11:00, admin, рубрики: classification, convolutional neural network, data mining, neural networks, python, text mining, Блог компании Open Data Science, машинное обучение, СемантикаКогда мы слышим о сверточных нейронных сетях (CNN), мы обычно думаем о компьютерном зрении. CNN лежали в основе прорывов в классификации изображений — знаменитый AlexNet, победитель соревнования ImageNet в 2012 году, с которого начался бум интереса к этой теме. С тех пор сверточные сети достигли большого успеха в распознавании изображений, в силу того факта, что они устроены наподобие зрительной коры головного мозга — то есть умеют концентрироваться на небольшой области и выделять в ней важные особенности. Но, как оказалось, CNN хороши не только для этого, но и для задач NLP. Более того, в недавно вышедшей статье [1] от коллектива авторов из Intel и Carnegie-Mellon University, утверждается, что они подходят для этого даже лучше RNN, которые безраздельно властвовали областью на протяжении последних лет.
Сверточные нейронные сети
Для начала немного теории. Что такое свертка? Мы не будем на этом останавливаться подробно, так как про это написана уже тонна материалов, но все-таки кратко пробежаться стоит. Есть красивая визуализация от Стэнфорда, которая позволяет ухватить суть:
Анализ данных — основы и терминология
2018-04-08 в 13:05, admin, рубрики: algorithms, big data, data mining, data science, machine learning, Алгоритмы, математика, машинное обучениеВ этой статье я бы хотел обсудить базовые принципы построения практического проекта по (т. н. «интеллектуальному») анализу данных, а также зафиксировать необходимую терминологию, в том числе русскоязычную.
Согласно википедии,
Анализ данных — это область математики и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений.
Говоря чуть более простым языком, я бы предложил понимать под анализом данных совокупность методов и приложений, связанных с алгоритмами обработки данных и не имеющих четко зафиксированного ответа на каждый входящий объект. Это будет отличать их от классических алгоритмов, например реализующих сортировку или словарь. Читать полностью »
Хакатон ROBO-RACE and hands-on workshop on AI в Artin: как это было
2018-04-07 в 15:00, admin, рубрики: беспилотный автомобиль, искусственный интеллект, машинное обучение, робототехника, хакатонДобрый день, уважаемые читатели! Недавно мне посчастливилось поучаствовать в одном хакатоне по искусственному интеллекту, который организовала группа Roboauto из компании Artin в городе Брно (Чехия), ведущая разработки беспилотного автомобиля. В этой статье я бы хотел поделиться своими впечатлениями и рассказать как все проходило, чему удалось научиться и что полезного узнать. Кому интересно, прошу под кат.Читать полностью »
Тройное комбо в области парсинга данных, или как мы сделали кроулер сайтов на основе ИИ, двух тысяч прокси и Chrome API
2018-04-06 в 14:27, admin, рубрики: Google Chrome, php, python, машинное обучениеЗадача стояла следующая: собрать данные с израильской доски объявлений, которая блокирует на входе все страны кроме Израиля и некоторых европейских (исключая Россию). Далее блокирует всех, кто ведёт себя хотя бы сколько-нибудь подозрительно. Например, при запросе страницы сайта чаще 1 раза в 3 секунды уже есть возможность попасть в бан-лист. Далее, чтобы узнать номер телефона автора объявления (без которого все остальные бесполезны) нужно пройти капчу на иврите (местный язык). Т.е. доступную только евреям. Иными словами, создатели сайта явно против того, чтобы их парсили. Но мы решили попробовать.Читать полностью »
Рубрика «Читаем статьи за вас». Февраль — Март 2018
2018-04-05 в 11:10, admin, рубрики: arxiv.org, data science, machine learning, ods, open data science, science, Алгоритмы, Блог компании Open Data Science, математика, машинное обучение, обработка изображений
Привет! Продолжаем публиковать рецензии на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество!