Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »
Рубрика «машинное обучение» - 253
Обзор наиболее интересных материалов по анализу данных и машинному обучению №36 (16 — 22 февраля 2015)
2015-02-22 в 13:51, admin, рубрики: big data, data mining, data science, data science digest, high scalability, machine learning, машинное обучениеВведение в Apache Spark
2015-02-17 в 10:36, admin, рубрики: Apache, big data, data mining, Hadoop, python, spark, машинное обучение, разработка, метки: Big DataПривет!
В прошлый раз мы рассмотрели замечательный инструмент Vowpal Wabbit, который бывает полезен в случаях, когда приходится обучаться на выборках, не помещающихся в оперативную память. Напомним, что особенностью данного инструмента является то, что он позволяет строить в первую очередь линейные модели (которые, к слову, имеют хорошую обобщающую способность), а высокое качество алгоритмов достигается за счет отбора и генерации признаков, регуляризации и прочих дополнительных приемов. Сегодня рассмотрим инструмент, который более популярен и предназначен для обработки больших обьемов данных — Apache Spark.
Читать полностью »
Седьмая ежегодная Летняя школа Microsoft Research. На этот раз про машинное обучение и интеллект
2015-02-16 в 9:09, admin, рубрики: big data, machine learning, microsoft, Microsoft Azure, microsoft research, Алгоритмы, Блог компании Microsoft, летняя школа, машинное обучение, наука, школаПривет!
29 июля, в очередной, уже седьмой раз, в Санкт-Петербурге откроется ежегодная Летняя школа Microsoft Research. На этот раз тема школы – машинное обучение и интеллект. В программу школы включены лекции и семинары ученых мирового уровня из ведущих университетов со всего мира, в том числе из России, а также исследователей Microsoft Research. Руководитель школы – Эвелин Виегас, директор направления «семантические вычисления» Microsoft Research Redmond. Подробности под катом.
Машинное обучение — 1. Корреляция и регрессия. Пример: конверсия посетителей сайта
2015-02-15 в 19:06, admin, рубрики: machine learning, statistical learning, Блог компании Нерепетитор.ру, визуализация данных, конверсия сайтов, корреляция, линейная регрессия, математика, математика и реальная жизнь, машинное обучение, метод наименьших квадратов, монте-карло, статистикаКак и обещал, начинаю цикл статей по «машинному обучению». Эта будет посвящена таким понятиям из статистики, как корреляция случайных величин и линейная регрессия. Рассмотрим, как реальные данные, так и модельные (симуляцию Монте-Карло).
Часть 1. Реальные данные
Чтобы было интереснее, рассказ построен на примерах, причем в качестве данных (и в этой, и в следующих, статьях) я буду стараться брать статистику прямо отсюда, с Хабра. А именно, неделю назад я написал свою первую статью на Хабре (про Mathcad Express, в котором и будем все считать). И вот теперь статистику по ее просмотрам за 10 дней и предлагаю в качестве исходных данных. На графике это ряд Views, синяя линия. Второй ряд данных (Regs, с коэффициентом 100) показывает число читателей, выполнивших после прочтения определенное действие (регистрацию и скачивание дистрибутива Mathcad Prime).
Практическое программирование искуственного интеллекта
2015-02-14 в 3:21, admin, рубрики: artificial intelligence, EdX, gtd, python, python class, Алгоритмы, всё правильно сделал, дистанционное образование, искуственный интеллект, лень матушка, машинное обучение, начинающим, не бойся жизнь переменить, овощи, Программирование, Программирование робототехникиПодъем, овощи!
Все, кто еще не, срочно идем и регистрируемся на курс CS188.1x — «Artificial Intelligence». Курс стартовал 6.2.2015 и уже доступны материалы второй недели (первая проходится за три часа — она вводная). Оправдание принимается только одно — «не понимаю по-английски». В этом случае идешь и начинаешь учить английский!
Читать полностью »
Система автоматической оценки возраста по изображениям лиц
2015-02-02 в 7:17, admin, рубрики: Алгоритмы, Блог компании Нордавинд, машинное обучение, обработка изображений, Распознавание возраста, распознавание изображений, распознавание лиц, распознавание образов Аннотация
Люди — это самые важные объекты слежения в системах видеонаблюдения. Тем не менее, слежение за человеком само по себе не дает достаточной информации об его мотивах, намерениях, желаниях и т.п. В этой работе мы представляем новую и надежную систему для автоматической оценки возраста с помощью технологий компьютерного зрения. Она использует глобальные особенности лица, полученные на основе комбинирования вейвлетов Габора и сохранение ортогональности локальных проекций Orthogonal Locality Preserving Projections, OLPP). Кроме того, система способна оценивать возраст по изображениям в реальном времени. Это означает, что предлагаемая система имеет больший потенциал по сравнению с другими полуавтоматическими системами. Результаты, полученные в процессе применения предлагаемого подхода, могут позволить получить более ясное понимание алгоритмов в области оценки возраста, необходимых для разработки приложений, актуальных для реального применения.
Ключевые слова: вейвлеты Габора, изображение лица, оценка возраста, метод опорных векторов (Support Vector Machine, SVM).
Читать полностью »
Обзор некоторых MOOC Coursera по компьютерным наукам
2015-01-16 в 9:55, admin, рубрики: algorithms, coursera, data analysis, data mining, machine learning, MOOC, programming, social network analysis, Алгоритмы, анализ данных, анализ соцсетей, дистанционное образование, машинное обучение, Учебный процесс в ITСкорее всего, если вы зашли на Хабр и читаете эту статью, то хоть раз в жизни да слышали про MOOC-курсы.
Но если все же не слышали, то MOOC (по-русски принято произносить «мук») означает «Massive Open Online Course» — массовый открытый онлайн-курс. Это настоящий феномен в образовании XXI века. Газета «New York Times» назвала даже 2012 год «годом MOOC» в связи с появлением на рынке дистанционного образования 3-х «китов» — Coursera, Udacity и EdX. MOOC-ам посвящено множество статей, кто-то видит в них будущее образования, кто-то, наоборот, угрозу. Пытаются также предсказать «традиционную» и «дистанционную» составляющии обучения будущего.
Однако в этой статье я не буду обсуждать перспективы развития дистанционного образования, а расскажу про свой опыт знакомства с курсами на платформе Coursera. Эти курсы будут полезны студентам, изучающим прикладную математику и информатику, в особенности анализ данных. Многое из того, что мне дали эти курсы, как я потом понял — это знания, которыми должен обладать любой уважающий себя исследователь данных (так я предпочитаю переводить профессию Data Scientist).
Читать полностью »
Google работает над системой перевода речи в реальном времени
2015-01-12 в 11:32, admin, рубрики: DoCoMo, Google, Google Translate, microsoft, skype, Skype Translate, машинное обучение, машинный перевод, распознавание речи, системы переводаНовая функция станет ответом на Skype Translate
«Нью-Йорк таймс» сообщает, что компания Google собирается выпустить обновлённую версию приложения Google Translate для мобильных устройств на операционной системе Android. В приложение добавят возможность синхронного перевода речи. Официального объявления от Google пока не поступало.
На данный момент Google Translate уже умеет переводить речь человека, но функция далека от того, о чём мечтали авторы научной фантастики. Смартфон нужно поставить на запись и ждать, когда будет готов машинный перевод.
В обновлении добавят систему, которая будет распознавать речь нескольких наиболее распространённых языков и преобразовывать её в текст. Перевод будет готов немедленно.
Читать полностью »
Yandex Data Factory
2014-12-09 в 13:23, admin, рубрики: big data, data mining, Блог компании Яндекс, Большие данные, Исследования и прогнозы в IT, матрикснет, машинное обучение, Облачные вычисления, яндексТолько что в Париже на конференции La Web Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.
Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важным и распространённым, чем выработка электричества или железные дороги сегодня.
Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Читать полностью »
Яндекс открывает новое направление своей деятельности — Yandex Data Factory
2014-12-09 в 13:23, admin, рубрики: big data, data mining, Блог компании Яндекс, Большие данные, Исследования и прогнозы в IT, матрикснет, машинное обучение, Облачные вычисления, яндексТолько что в Париже на конференции La Web Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.
Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важным и распространённым, чем выработка электричества или железные дороги сегодня.
Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Читать полностью »