В нашем новом дайджесте обновления iOS и Swift, самое интересное машинное обучение в Android, опрос про известность мобильных команд, поиск фрилансеров для вменяемой разработки, самые популярные приложения в разных категориях и многое другое.
Рубрика «машинное обучение» - 121
Дайджест интересных материалов для мобильного разработчика #284 (28 января — 3 февраля)
2019-02-03 в 10:28, admin, рубрики: apple, ARCore, kotlin, MacOS, swift, swift 5, unity, ux дизайн, Блог компании Everyday Tools, маркетинг мобильных приложений, машинное обучение, разработка игр, разработка мобильных приложений, Разработка под android, разработка под iOS
Как мы создали рекомендательный сервис по подбору одежды на нейронных сетях
2019-02-02 в 10:35, admin, рубрики: deeplearning, детектирование, классификация, машинное обучение, нейронные сети, обработка изображений, рекомендательные системы
В этой статье я хочу рассказать о том, как мы создали систему поиска похожей одежды (точнее одежды, обуви и сумок) по фотографии. То есть, выражаясь бизнес-терминами, рекомендательный сервис на основе нейронных сетей.
Как и большинство современных IT-решений, можно сравнить разработку нашей системы со сборкой конструктора Lego, когда мы берем много маленьких деталек, инструкцию и создаем из этого готовую модель. Вот такую инструкцию: какие детали взять и как их применить для того, чтобы ваша GPU смогла подбирать похожие товары по фотографии, — вы и найдете в этой статье.
Из каких деталей построена наша система:
- детектор и классификатор одежды, обуви и сумок на изображениях;
- краулер, индексатор или модуль работы с электронными каталогами магазинов;
- модуль поиска похожих изображений;
- JSON-API для удобного взаимодействия с любым устройством и сервисом;
- веб-интерфейс или мобильное приложение для просмотра результатов.
В конце статьи будут описаны все “грабли”, на которые мы наступили во время разработки и рекомендации, как их нейтрализовать.
Постановка задачи и создание рубрикатора
Задача и основной use-case системы звучит довольно просто и понятно:
- пользователь подает на вход (например, посредством мобильного приложения) фотографию, на которой присутствуют предметы одежды и/или сумки и/или обувь;
- система определяет (детектирует) все эти предметы;
- находит к каждому из них максимально похожие (релевантные) товары в реальных интернет-магазинах;
- выдает пользователю товары с возможностью перейти на конкретную страницу товара для покупки.
Говоря проще, цель нашей системы — ответить на знаменитый вопрос: “А у вас нет такого же, только с перламутровыми пуговицами?”
Читать полностью »
Краткая история одной «умной ленты»
2019-02-01 в 13:10, admin, рубрики: big data, Competition, data mining, data science, Блог компании Mail.Ru Group, Блог компании Одноклассники, машинное обучение
Социальные сети — это один из наиболее востребованных на сегодняшний день интернет-продуктов и один из основных источников данных для анализа. Внутри же самих социальных сетей самой сложной и интересной задачей в сфере data science по праву считается формирование ленты новостей. Ведь для удовлетворения всё возрастающих требований пользователя к качеству и релевантности контента необходимо научиться собирать информацию из многих источников, вычислять прогноз реакции пользователя и балансировать между десятками конкурирующих метрик в А/Б-тесте. А большие объемы данных, высокие нагрузки и жесткие требования к скорости ответа делают задачу ещё интереснее.
Читать полностью »
Proof of Concept: целесообразность внутреннего ML проекта
2019-02-01 в 11:02, admin, рубрики: Анализ и проектирование систем, Блог компании Open Data Science, машинное обучение, управление разработкой, финансы в ITНедавно в уютном чатике дата сатанистов подняли вопрос, как правильно "продавать" внутренние проекты по машинному обучению. Оказалось, что многие из нас весьма брезгливо относятся к экономическому обоснованию своей деятельности. Меж тем, чтобы провести минимальную оценку рентабельности проекта, никакого MBA не нужно — в небольшой статье (10 страниц текста, ке-ке-ке) я расскажу вам, что такое рентабельность инвестиций, как оценить её для внутреннего проекта, какую роль в этом играет Proof of Concept, и почему в реальной жизни всё может пойти не так. Делать мы всё это будем вокруг вымышленного проекта по автоматизации составления расписаний для колл-центра. Добро пожаловать под кат!
Proof of Concept: Как проверить, что внедрение ML стоит свеч
2019-02-01 в 11:02, admin, рубрики: Анализ и проектирование систем, Блог компании Open Data Science, машинное обучение, управление разработкой, финансы в ITНедавно в уютном чатике дата сатанистов подняли вопрос, как правильно "продавать" внутренние проекты по машинному обучению. Оказалось, что многие из нас весьма брезгливо относятся к экономическому обоснованию своей деятельности. Меж тем, чтобы провести минимальную оценку рентабельности проекта, никакого MBA не нужно — в небольшой статье (10 страниц текста, ке-ке-ке) я расскажу вам, что такое рентабельность инвестиций, как оценить её для внутреннего проекта, какую роль в этом играет Proof of Concept, и почему в реальной жизни всё может пойти не так. Делать мы всё это будем вокруг вымышленного проекта по автоматизации составления расписаний для колл-центра. Добро пожаловать под кат!
Как я Keras на C++ запускал
2019-01-31 в 20:42, admin, рубрики: c++, keras, mashine learning, neural networks, python, искусственный интеллект, машинное обучениеНе так давно передо мной встала производственная задача – запустить обученную модель нейронной сети Kesas на нативном C++ коде. Как ни странно, решение оказалось вообще не тривиальным. В результате чего появилась собственная библиотека, дающая такую возможность. О том, как же это – нейросети на чистых крестах и будет сегодняшняя небольшая статья.
Тем, кому не терпится – вот тут репозитарий на github, с подробным описанием использования. Ну а всех остальных прошу под кат… Читать полностью »
Премия имени Ильи Сегаловича. Рассказ о компьютерных науках и публикациях по случаю запуска
2019-01-31 в 6:22, admin, рубрики: lightning talk, Блог компании Яндекс, датасеты, идеи и реализация, илья сегалович, Исследования и прогнозы в IT, исследователи, конференции, машинное обучение, научные программы, научные проекты, научные публикации, постер-сессия, постеры, рецензии, Учебный процесс в IT, ученые
Сегодня мы запускаем научную премию имени Ильи Сегаловича iseg. Она будет присуждаться за достижения в области компьютерных наук. Студенты и аспиранты могут подать собственную заявку на премию или выдвинуть научных руководителей. Лауреатов выберут представители академического сообщества и Яндекса. Главные критерии отбора: наличие публикаций и выступлений на конференциях, а также вклад в развитие сообщества.
Первое награждение состоится уже в апреле. В рамках премии молодые учёные получат по 350 тысяч рублей, а кроме того, смогут поехать на международную конференцию, поработать с ментором и пройти стажировку в отделе исследований Яндекса. Научные руководители получат по 700 тысяч рублей.
По случаю запуска премии мы решили рассказать здесь, на Хабре, о критериях успеха в мире компьютерных наук. Часть читателей Хабра уже знакомы с этими критериями, а у остальных могло сложиться о них ложное впечатление. Сегодня мы устраним этот разрыв — коснёмся всех основных тем, включая статьи, конференции, датасеты и перенос научных идей в сервисы.
«Яндекс» учредил научную премию имени Ильи Сегаловича
2019-01-31 в 5:44, admin, рубрики: илья сегалович, машинное обучение, научная премия, Научно-популярное, яндекс
Илья Сегалович (iseg)
Компания «Яндекс» объявила об учреждении ежегодной научной премии для поддержки молодых исследователей и научного сообщества в России, Беларуси и Казахстане. Премия им. Сегаловича вручается студентам, аспирантам и научным руководителям за достижения в компьютерных науках:
- Машинное обучение
- Компьютерное зрение
- Информационный поиск и анализ данных
- Обработка естественного языка и машинный перевод
- Распознавание и синтез речи
Шпаргалка для искусственного интеллекта — выбрось лишнее, учи главному. Техника обработки обучающих последовательностей
2019-01-29 в 19:19, admin, рубрики: data mining, Алгоритмы, искусственный интеллект, машинное обучение, обработка изображенийЭто вторая статья по анализу и изучению материалов соревнования по поиску корабликов на море. Но сейчас будем изучать свойства обучающих последовательностей. Попробуем найти в исходных данных лишнюю информацию, избыточность и её удалить.
Статья эта тоже есть просто результат любопытства и праздного интереса, ничего из нее в практике не встречается и для практических задач тут нет почти ничего для копипастинга. Это небольшое исследование свойств обучающей последовательности — рассуждения автора и код изложены, можно все проверить/дополнить/изменить самим.
Недавно закончились соревнования на kaggle по поиску судов на море. Компания Airbus предлагала провести анализ космических снимков моря как с судами так и без. Всего 192555 картинок 768х768х3 — это 340 720 680 960 байт если uint8 и это громадный объем информации и возникло смутное подозрение, что не все картинки нужны для обучения сети и в таком количестве информации очевидны повторы и избыточность. При обучении сети принято некоторую часть данных отделять и не использовать в обучении, а использовать для проверки качества обучения. И если один и тот же участок моря попал на два разных снимка и при этом один снимок попал в тренировочную последовательность, а другой в проверочную, то проверка смысл потеряет и сеть переобучится, мы не проверим свойство сети обобщать информацию, ведь данные те же самые. Борьба с эти явлением отняла много сил и времени GPU участников. Как обычно, победители и призеры не торопятся показать своим поклонникам секреты мастерства и выложить код и нет возможности его изучить и поучиться, поэтому займемся теорией.
Читать полностью »
3blue1brown и MIT на русском
2019-01-29 в 16:52, admin, рубрики: 3blue1brown, MIT, opencourseware, математика, машинное обучение, озвучка, переводы, уолтер левин, физикаПривет!
Ровно год назад мы — небольшое сообщество — собрались, чтобы переводить на русский самые крутые образовательные курсы, что есть в открытом доступе (например, физика Уолтера Левина). Без денег — просто интерес. И сегодня мы к вам — с надеждой, что вам понравится, что мы делаем.
Вместо КДПВ — озвученное нами видео 3blue1brown (да-да, мы договорились о переводе с автором самых крутых на Youtube видео про математику-физику-информатику).