Рубрика «data mining» - 102

Извлекаем центральную статью с web-страницы

2012-07-17 в 12:34, admin, рубрики: data mining, markdown, Алгоритмы, выделение содержания, метки: data mining, markdown, выделение содержания

Длинное вступление

Совсем недавно мне пришлось подготовить работу для университета. Ну и как всегда в области, которая мне не интересна. Задание было принято без какого либо энтузиазм и хотелось побыстрее от этого избавиться. Задача стояла так «Извлечение центральных статей из гипертекстовых документов».

Я не стану расписывать возможные варианты использования подобных алгоритмов. Я уверен, что каждый из вас без проблем придумает хотя бы пять различных вариантов применения.

Бегло пробежавшись по просторам глобальной сети я понял, что за 10 лет в этой области никто не крикнул «Эврика!» и все подходы основываются на анализе Dom-модели документа. Кто-то использует одни принципы, кто-то другие, но все поголовно следуют набору правил для анализа Dom-модели документа. Побродив еще немного по просторам Хабра я наткнулся на статью, в которой автор рассказывал про алгоритм VIPS, разработанный в недрах Microsoft Research. Идея показалась очень привлекательной, и я решил придумать что-то свое и принялся за мыслительную деятельность. День, два, три… Ничего необычного в голову не приходит. Пришлось отбросить идею поиска центральной статьи с помощью компьютерного зрения. Такой подход к решению проблемы оказался мне не по зубам.

Что же делать? Писать еще один парсер Dom-дерева, как это делают люди уже больше 10 лет? Хочется уточнить, что работа должна быть больше исследовательская и не нацелена на получение конкретного результата. Немного пообщавшись с людьми, я наткнулся на язык разметки Markdown. Интересная штука, подумал я и лег спать…
Читать полностью »

Прогнозирование событий и Data Mining — вперед в будущее

2012-07-14 в 14:38, admin, рубрики: Business Intelligence, data mining, OSINT, python, Блог компании «Group-IB», метки: Business Intelligence, OSINT

В Сети появился интересный сервис мониторинга информации по открытым источникам — Recorded Future.

Он позволяет аккумулировать информацию из более чем 150 000 различных СМИ с возможностью хранения архива до 5 лет с возможностью последующего анализа и извлечения знаний о возможных последствиях произошедшего и будущих событиях.

Автором сервиса является Chris Holden, любезно предложивший нам воспользоваться Recorded Future без внесения оплаты, хотя полный функционал доступен только на коммерческой основе.

Например, сейчас сервис осуществляет непрерывный мониторинг более 8 000 политических лидеров различных государств мира, позволяя отслеживать куда и зачем поедет какой-либо известный деятель. Порой, хорошая аналитика этих событий позволяет установить взаимосвязи в международных отношениях и спрогнозировать наиболее вероятные модели их развития путем анализа истории путешествий выбранного деятеля.

Наиболее интересные кейсы, демонстрирующие возможности системы, отражены на следующих прикладных примерах:

— отслеживание возникающих киберугроз и действий хакеров в мире
— анализ содержимого писем из круга приближенных Усамы Бин-Ладена
— анализ протестной активности
— анализ выборов в Греции и Египте
Читать полностью »

Сливки IT R&D (выпуск 16) — 3 в 1

2012-07-13 в 7:17, admin, рубрики: android, apple, data mining, Firefox OS, MeeGo, opera, pinterest, target, thunderbird, беларусь, бизнес-акселератор, подкасты, сан-франциско, цензура, метки: android, apple, data mining, Firefox OS, MeeGo, opera, Pinterest, target, thunderbird, беларусь, бизнес-акселератор, сан-франциско, цензура

Шестнадцатый выпуск подкаста — Сливки IT R&D.
О первом бизнес-акселераторе в Беларуси, Сан-Франциско бойкотирует продукцию Applе, призрак Сталина в рунете, Волож улыбается, 5кг планшет на Андроиде и многое другое.

Читать полностью »

Вам комфортно, если торговая сеть знает, что вы ждете ребенка?

2012-07-06 в 16:33, admin, рубрики: data mining, анализ данных, аналитика, бизнес-процессы, клиенты, личные данные, маркетинг, переводы, продажи, Статистика в IT, метки: data mining, анализ данных, аналитика, бизнес-процессы, клиенты, личные данные, маркетинг, продажи, Статистика в IT

Однажды в магазин Target зашел мужчина и потребовал вызвать менеджера. В своих руках он сжимал огромную кипу купонов магазина, полученных его дочерью.

«Моя дочь получила это по почте! – прокричал он. – Она еще в школу ходит, а вы посылаете ей купоны на детскую одежду и памперсы? Да как вы смеете! Вы хотите таким способом побудить школьниц рожать?»

Менеджер посмотрел на пачку купонов на материнскую одежду, детскую мебель – действительно, они были адресованы дочери рассерженного мужчины. Менеджер принес свои извинения.

Через несколько дней он позвонил мужчине, чтобы еще раз извиниться. По телефону голос отца звучал растерянно. «Знаете, я серьезно поговорил с дочерью, и выяснилось, что в моем доме происходило то, о чем я совершенно не догадывался. Она рожает в августе. Примите мои извинения».

Как Target узнал, что дочь беременна до того, как об этом стало известно ее отцу? Ответ прост – благодаря системе прогнозирования беременности (pregnancy prediction system), разработанной аналитиком компании Эндрю Полом. Под катом – обо всем по порядку.
Читать полностью »

Торговля знает, когда вы ждете ребенка

Реализация алгоритма k-means на c# (с обобщенной метрикой)

2012-06-27 в 11:37, admin, рубрики: .net, clustering, clusterization, data mining, k-means, Алгоритмы, метки: .net, c++, clustering, clusterization, data mining, k-means

Всем привет. Продолжая тему того, что Andrew Ng не успел рассказать в курсе по машинному обучению, приведу пример своей реализации алгоритма k-средних. У меня стояла задача реализовать алгоритм кластеризации, но мне необходимо было учитывать степень корреляции между величинами. Я решил использовать в качестве метрики расстояние Махаланобиса, замечу, что размер данных для кластеризации не так велик, и не было необходимости делать кэширование кластеров на диск. За реализацией прошу под кат.

Читать полностью »

Необычный словарь обычных слов

2012-06-26 в 18:50, admin, рубрики: data mining, лингвистика, морфология, словарь, я пиарюсь, метки: data mining, лингвистика, морфология, словарь

У автора нет инвайта, потому он попросил меня выложить сюда его творение.

Написался тут сайт с необычным представлением русского морфологического словаря, будет полезен лингвистам, датамайнерам, NLPшникам и всем интересующимся языком.

Например двумя кликами можно узнать какие и мужские имена на букву П используются чаще остальных и другую подобную статистику.

За основу взят морфологический словарь АОТ (aot.ru)
Проект планируется развивать и по мере возможности добавлять туда всякий полезный и бесполезный инструментарий.

В ближайшем будущем будут:
1. Онлайн–стемминг
2. Частотомерка с базовыми формамиЧитать полностью »

Реализация метода главных компонент на c#

2012-06-21 в 7:26, admin, рубрики: .net, data mining, principal component analysis, Алгоритмы, метки: .net, c++, data mining, principal component analysis

Всем привет. На этой неделе в курсе по машинному обучению профессор Andrew Ng рассказал слушателям про метод главных компонент, с помощью которого можно уменьшить размерность пространства признаков ваших данных. Но к сожалению он не рассказал про метод вычисления собственных векторов и собственных чисел матрицы, просто сказал, что это сложно и посоветовал использовать матлаб/октавовскую функцию [U S V] = svd(a).

Для моего проекта мне понадобилась реализация этого метода на c#, чем я сегодня и занимался. Сам метод главных компонент очень элегантный и красивый, а если не понимать математику которая лежит за всем этим, то это можно это все назвать шаманством. Проблема вычисления собственных векторов матрицы в том, что не существует быстрого способа вычисления их точных значений, так что приходится выкручиваться. Я хочу рассказать об одном из таких способов выкрутиться, а так же приведу код на c# выполняющий эту процедуру. Прошу под кат.
Читать полностью »

Анализ закономерностей в 1300 популярных песнях

2012-06-15 в 15:42, admin, рубрики: data mining, аккорды, метки: аккорды

Ребята с сайта hooktheory.com решили разобраться, что отличает популярные песни от всех остальных. Они провели статистический анализ 1300 песен и опубликовали результаты: какие созвучия чаще всего встречаются в поп-музыке и как они взаимодействуют между собой.

На самом деле авторы проделали титаническую работу, потому что до сих пор не существовало открытой базы аккордов, откуда можно было просто взять информацию. В течение двух лет они медленно составляли её вручную, прослушивая по очереди все песни из хит-парадов.
Читать полностью »

Прогнозирование закупок: адская, но очень полезная математика

2012-06-07 в 6:32, admin, рубрики: data mining, анализ данных, Блог компании КРОК, ликбез, недозаказ, перезаказ, пиво, прогнозирование спроса, ритейл, метки: анализ данных, ликбез, недозаказ, перезаказ, пиво, прогнозирование спроса, ритейл

Представьте двух героев: коммерсанта Александра и сисадмина Василия. Вася, как олицетворение среднестатистического клиента, каждый вечер заходит в магазин Саши (представителя розничной сети) и покупает пиво. Саша заказывает для него 7 бутылок пива в неделю. Иногда Вася остаётся работать с ночевкой и не выходит из серверной, а иногда – после работы берёт по две бутылки пива для себя и главбуха.

Прогнозирование закупок: адская, но очень полезная математика
^{График спроса на пиво в зависимости от жизненных приключений Васи}

Саша не может предсказать эти периоды, поэтому постоянно находится меж двух огней: либо купить больше товара, «заморозить» деньги и потратиться на его хранение, либо купить ровно по среднему спросу, рискуя в какой-то момент расстроить Васю и его друга бухгалтера отсутствием нужного количества пива.Читать полностью »

Информация

Обсуждаемое

Рекомендуем

Рубрика «data mining» - 102

Извлекаем центральную статью с web-страницы

Длинное вступление

Прогнозирование событий и Data Mining — вперед в будущее

Сливки IT R&D (выпуск 16) — 3 в 1

Вам комфортно, если торговая сеть знает, что вы ждете ребенка?

Торговля знает, когда вы ждете ребенка

Реализация алгоритма k-means на c# (с обобщенной метрикой)

Необычный словарь обычных слов

Реализация метода главных компонент на c#

Анализ закономерностей в 1300 популярных песнях

Прогнозирование закупок: адская, но очень полезная математика

Архив

Информация

Обсуждаемое

Рекомендуем

Рубрика «data mining» - 102

Длинное вступление

Новости

Актуальные темы

Архив