Привет! Летом мы подводили внутри итоги прошлого IT-сезона и строили планы на новый год (в Microsoft финансовый год начинается с 1 июля). Одна из таких дискуссий велась вокруг работы с сообществами разработчиков и, в частности, подходов к организации наших собственных конференций.
По результатам обсуждения мы приняли для себя непростое и, уверен, своевременное решение поменять наш подход к мероприятиям и, особенно, их формату.
Год назад Google сваял платформу Cloud Vision API. Идея платформы — предоставить технологии Computer Vision, в которых Google является безусловным лидером, как сервис. Пару лет назад под каждую задачу существовала своя технология. Нельзя было взять что-то общее и добиться, чтобы алгоритм решал всё. Но Google замахнулся. Вот, прошёл уже год. А технология всё так же не на слуху. На хабре одна статья. Да и та ещё не про Cloud Vision api, а про Face api, которое было предшественником. Англоязычный интернет тоже не пестрит статьями. Разве что от самого Google. Это провал?
Мне было интересно посмотреть что это такое ещё весной. Но сил полноценно посидеть не хватало. Изредка что-то отдельное тестировал. Периодически приходили заказчики и спрашивали, почему нельзя применить Cloud Api. Приходилось отвечать. Или наоборот, отсылать с порога в этом направлении. И внезапно понял, что материала на статью уже достаточно. Поехали.
Читать полностью »
Тематическое моделирование — подраздел машинного обучения, посвященный извлечению абстрактных «тем» из набора «документов». Каждый «документ» представлен мешком слов, т.е. множеством слов вместе с их частотами. Введение в тематическое моделирование прекрасно описано проф. К. В. Воронцовым в лекциях ШАД [PDF]. Самая известная модель ТМ — это, конечно, Латентное размещение Дирихле (LDA). Константину Вячеславовичу удалось обобщить все возможные тематические модели на основе мешка слов в виде аддитивной регуляризации (ARTM). В частности, LDA тоже входит в множество моделей ARTM. Идеи ARTM воплощены в проекте BigARTM.
Обычно тематическое моделирование применяют к текстовым документам. Мы в source{d} (стартап в Испании) перевариваем биг дату, полученную из GitHub репозиториев (и скоро примемся за каждый публично доступный репозиторий в мире). Естественным образом возникла идея интерпретировать каждый репозиторий как мешок слов и натравить BigARTM. В этой статье пойдет речь о том как мы выполнили по сути первое в мире тематическое исследование крупнейшего хранилища open source проектов, что из этого получилось и как это повторить. docker inside!
Читать полностью »
Вчера я опубликовал статью про машинное обучение и NVIDIA DIGITS. Как и обещал, сегодняшняя статья — почему всё не так уж и хорошо + пример выделения объектов в кадре на DIGITS.
NVIDIA подняла волну пиара по поводу разработанной и имплиментированной в DIGITS сетки DetectNet. Сетка позиционируется как решение для поиска одинаковых/похожих объектов на изображении.
Недавно на Хабре проскакивал пост vfdev-5 о DIGITS. Давайте поподробнее разберёмся что это такое и с чём его едят. Если в двух словах. Это среда, которая позволяет решить 30-50% задачек машинного обучения на коленке в течении 5 минут. Без умения программировать. Ну, при наличии базы, конечно. И более-менее адекватной карточки от NVIDIA.
Читать полностью »
Недавний прорыв в области искусственного интеллекта и машинного обучения позволил компьютерам понимать окружающий мир и разумно реагировать на происходящие вокруг события. Google уже принялся за внедрение этих технологий в Android, однако последние инновации открывают перед нами перспективы гораздо более масштабных сценариев применения ИИ, затрагивающих многие сферы деятельности — от проектирования дронов до постановки медицинских диагнозов.
По крайней мере, именно такой точки зрения придерживается Марк Андриссен, видный венчурный капиталист и один из основателей инвестиционного фонда Andreessen Horowitz. И такой человек знает, о чем говорит. Он сделал свое состояние еще 20 лет назад, основав совместно со своими партнерами компанию Netscape, а относительно недавно его нынешняя компания отметилась инвестированием в успешные проекты, такие как Facebook, Twitter, Airbnb, Slack и Lyft. Андриссен находится в постоянном контакте с предпринимателями и инвесторами, пытающимися создать новые крупные технологические компании.
По мнению инвестора, недавние достижения показывают, что искусственный интеллект обладает потенциалом стать базой для появления на свет нового поколения крупных и важных технологических компаний. В то же время Андриссен признает, что определенные отрасли показали стойкое и упрямое сопротивление к технологическим изменениям и высказывается о необходимости проделать еще больший объем работы для того, чтобы каждый уголок экономики смог ощутить на себе всю силу современного ПО.
Читать полностью »
В 1960-х годах появился новый подраздел информатики — искусственный интеллект (ИИ). Полвека спустя инженеры продолжают развивать обработку естественного языка и машинное обучение, чтобы оправдать надежды на появление сильного ИИ.
Мы в 1cloud, пишем в блоге не только о себе [клиентоориентированность, безопасность], но и разбираем занимательные темы вроде ментальных моделей или систем хранения данных на основе ДНК.
Сегодня мы расскажем о том, как машинное обучение используется сейчас: почему нейронные сети популярны у физиков, как работают рекомендательные алгоритмы YouTube и поможет ли машинное обучение «перепрограммировать» наши болезни.
/ Zufzzi / Wikimedia / CC0
Читать полностью »
В предыдущей статье на примере покупки Mercedes-Benz E-klasse не старше 2010 года выпуска стоимостью до 1.5 млн рублей в Москве была рассмотрена задача поиска выгодных автомобилей. Под выгодными следует понимать предложения, цена которых ниже рыночной в текущий момент среди объявлений, собранных со всех наиболее авторитетных сайтов по продаже б/у автомобилей в РФ.
На первом этапе в качестве метода машинного обучения была выбрана множественная линейная регрессия, были рассмотрены правомерность ее использования, а также плюсы и минусы. Простая линейная регрессия была выбрана в качестве ознакомительного алгоритма. Очевидно, что существует еще много методов машинного обучения для решения поставленной задачи регрессии. В этой статье я хотел бы рассказать вам, как именно я выбирал наиболее оптимальный алгоритм машинного обучения для исследуемой модели, который в настоящее время используется в реализованном мною сервисе — robasta.ru.
Есть одна тема в современном Computer Vision, которая часто остаётся за кадром. В ней нет сложной математики и глубокой логики. Но то что её никак не освещают — вгоняет в ступор многих новичков. А тема не проста: имеет множество граблей, про которые не узнаешь, пока не наступишь.
Тема — называется так: подготовка базы изображений для дальнейшего обучения.
В статье:
Недавно на Хабре появилась публикация про алгоритм Хо-Кашьяпа (Ho-Kashyap procedure, он же — алгоритм НСКО, наименьшей среднеквадратичной ошибки). Мне она показалась не очень понятной и я решил разобраться в теме сам. Выяснилось, что в русскоязычном интернете тема не очень хорошо разобрана, поэтому я решил оформить статью по итогам поисков.
Несмотря на бум нейросетей в машинном обучении, алгоритмы линейной классификации остаются гораздо более простыми в использовании и интерпретации. Но при этом иногда вовсе не хочется пользоваться сколько-нибудь продвинутыми методами, вроде метода опорных векторов или логистической регрессии и возникает искушение загнать все данные в одну большую линейную МНК-регрессию, тем более её прекрасно умеет строить даже MS Excel.
Проблема такого подхода в том, что даже если входные данные линейно разделимы, то получившийся классификатор может их не разделять. Например, для набора точек ![X=[(6, 9), (5, 7), (5, 9), (10, 1)]](https://www.pvsm.ru/images/2016/10/16/zachem-nujen-algoritm-ho-kashyapa. "Зачем нужен алгоритм Хо-Кашьяпа? - 1")
![y=[1, 1, -1, -1]](https://www.pvsm.ru/images/2016/10/16/zachem-nujen-algoritm-ho-kashyapa-2. "Зачем нужен алгоритм Хо-Кашьяпа? - 2")
Встаёт вопрос — можно ли как-то избавиться от этой особенности поведения?
Читать полностью »
