Всем привет. Продолжая тему того, что Andrew Ng не успел рассказать в курсе по машинному обучению, приведу пример своей реализации алгоритма k-средних. У меня стояла задача реализовать алгоритм кластеризации, но мне необходимо было учитывать степень корреляции между величинами. Я решил использовать в качестве метрики расстояние Махаланобиса, замечу, что размер данных для кластеризации не так велик, и не было необходимости делать кэширование кластеров на диск. За реализацией прошу под кат.
Метка «data mining» - 8
Реализация алгоритма k-means на c# (с обобщенной метрикой)
2012-06-27 в 11:37, admin, рубрики: .net, clustering, clusterization, data mining, k-means, Алгоритмы, метки: .net, c++, clustering, clusterization, data mining, k-meansНеобычный словарь обычных слов
2012-06-26 в 18:50, admin, рубрики: data mining, лингвистика, морфология, словарь, я пиарюсь, метки: data mining, лингвистика, морфология, словарьУ автора нет инвайта, потому он попросил меня выложить сюда его творение.
Написался тут сайт с необычным представлением русского морфологического словаря, будет полезен лингвистам, датамайнерам, NLPшникам и всем интересующимся языком.
Например двумя кликами можно узнать какие и мужские имена на букву П используются чаще остальных и другую подобную статистику.
За основу взят морфологический словарь АОТ (aot.ru)
Проект планируется развивать и по мере возможности добавлять туда всякий полезный и бесполезный инструментарий.
В ближайшем будущем будут:
1. Онлайн–стемминг
2. Частотомерка с базовыми формамиЧитать полностью »
Реализация метода главных компонент на c#
2012-06-21 в 7:26, admin, рубрики: .net, data mining, principal component analysis, Алгоритмы, метки: .net, c++, data mining, principal component analysisВсем привет. На этой неделе в курсе по машинному обучению профессор Andrew Ng рассказал слушателям про метод главных компонент, с помощью которого можно уменьшить размерность пространства признаков ваших данных. Но к сожалению он не рассказал про метод вычисления собственных векторов и собственных чисел матрицы, просто сказал, что это сложно и посоветовал использовать матлаб/октавовскую функцию [U S V] = svd(a).
Для моего проекта мне понадобилась реализация этого метода на c#, чем я сегодня и занимался. Сам метод главных компонент очень элегантный и красивый, а если не понимать математику которая лежит за всем этим, то это можно это все назвать шаманством. Проблема вычисления собственных векторов матрицы в том, что не существует быстрого способа вычисления их точных значений, так что приходится выкручиваться. Я хочу рассказать об одном из таких способов выкрутиться, а так же приведу код на c# выполняющий эту процедуру. Прошу под кат.
Читать полностью »
Астрология и Data mining
2012-05-31 в 3:22, admin, рубрики: data mining, астрология, Вконтакте, социальные сети, метки: data mining, астрология, социальные сети 
Как и многие люди технического склада ума, я с крайним недоверием отношусь к астрологии, гороскопам и прочим псевдонаукам. Моё мировозрение пошатнулось когда я от скуки решил изучить влияение времени года в которое рождается человек, на его психические особенности. Оценка психических особенностей производилась по результатам соционического теста из приложения VK, которое насчитывает более 500000 пользователей. Надёжность и валидность теста небольшая, да и вся соционическая модель имеет ряд проблем. Но нам важно другое: понять есть ли хоть какие-то отличия между людьми родившимися в разное время. Объём выборки в полмиллиона человек позволяет надеяться на положительный результат. В ходе исследования ожидалось получить линейную зависимость между продолжительностью светлого времени суток в день рождения человека и его психотипом, но получилось Читать полностью »
Конкурс рекомендательных систем MSD Challenge
2012-05-03 в 9:33, admin, рубрики: challenge, data mining, Алгоритмы, конкурс, музыка, Программирование, рекомендательные системы, метки: challenge, data mining, конкурс, музыка, рекомендательные системы26 апреля стартовал конкурс рекомендательных систем Million Song Dataset Challenge. Завершение — через три месяца, 9 августа. В ходе конкурса нужно построить систему, которая по 100% истории прослушивания музыки для 1М пользователей и 50% истории для 100К пользователей сможет максимально точно достроить недостающие 50%. При этом доступны не только данные по прослушиванию, но и обширная база метаданных и даных по контенту от The EchoNest, MusicXMatch и Last.fm. При желании можно пользоваться любыми другими данными (у многих других музыкальных сервисов есть API, через который можно выудить ценную информацию).
Организаторы — CAL UCSD, LabROSA CU, IMIRSEL и UIUC.
Как такового приза у конкурса нет, но компания Zvooq решила сделать его чуть более интересным для российских участников. Лучшая команда из России (вне зависимости от абсолютного места) получит $5000 и возможность бесплатно отправить одного участника на ISMIR 2012.
Условия получения этого бонуса — все участники команды должны проживать в РФ, должно быть опубликовано описание используемого подхода (например, на Хабре или arxiv.org), команда должна заявить о себе на challenge@zvooq.com.
Как получить у инвестора деньги без утюга и резиновой дубинки?
2012-04-19 в 9:39, admin, рубрики: data mining, Блог компании Digital October, венчурный капитал, Идеи для стартапов, инвестирование, облачные сервисы, советы, стартап, стартапы, метки: data mining, венчурный капитал, инвестирование, облачные сервисы, советы, стартапДжефф Байер и Джон Файбер — умудрённые опытом советники AlmazCapital и Almaz Venture Capital, которым за год приходит около 3500 заявок. Они выбирают из них 5 или 10 штук, а остальные аккуратно опускают в мусорную корзину.
Недавно они рассказали, что именно ждёт инвестор от заявки, и куда сейчас наиболее интересно смотреть в плане развития.
КДПВ: в топике помогают зарабатывать такие штуки
Data Mining необычайно рулит
Самый интересный сегмент сегодня — это «большие данные». Дело в том, что объем данных, который генерируется и используется человечеством, растет в геометрической прогрессии. Эти данные надо уметь обрабатывать. Любая крупная компания так или иначе сталкивается с делом обработки больших массивов данных, потому что только тогда они становятся коммерческой информацией. Читать полностью »
Клиентская аналитика: Большой Брат знает, что ты купишь завтра и когда сменишь провайдера
2012-04-10 в 7:46, admin, рубрики: CRM, data mining, аналитика, бизнес-процессы, Блог компании КРОК, клиенты, маркетинг, продажи, управление проектами, эффективность, метки: crm, data mining, аналитика, бизнес-процессы, клиенты, маркетинг, продажи, эффективностьЕсли вы знаете, что один из ваших клиентов завтра проснётся с мыслью о покупке нового планшета — можно уже сегодня прислать ему письмо с кодом на скидку. Если вы понимаете, что по всем признакам клиент собирается перейти к другому провайдеру — можно повысить ему скорость, снизить цену или предложить что-то ещё. Это клиентская аналитика.
Если вы не знаете, какой тарифный план из трёх предложенных стоит запустить по всей стране, надо воспользоваться клиентской аналитикой, которая возьмёт каждого отдельного человека из базы, оценит эмоциональные и практические мотивы перехода – и позволит понять, сколько людей будут пользоваться этим тарифом.
Именно так выглядит Data Mining в клиентской аналитике. И именно так это уже работает на практике в сотнях крупных компаний по всему миру и в нашей стране.
Computer Science Center. Год номер два
2012-04-05 в 6:08, admin, рубрики: computer science, data mining, software engineering, обучение, Программирование, Учебный процесс в IT, ШАД, метки: computer science, data mining, software engineering, обучение, Программирование, шад 
Почти год назад мы объявили об открытии Computer Science Center. Сегодня мы начинаем новый набор, и это хороший повод проанализировать наш старт.
Data Mining в футболе: давайте оцифруем матч и всех посчитаем!
2012-03-11 в 11:16, admin, рубрики: data mining, аналитика, распознавание объектов, спорт, футбол, метки: data mining, аналитика, распознавание объектов, спорт, футбол 
Тренер следит за вами. Тренер помнит. Тренер не забывает и не прощает.
Если вы видели фильм «Человек, который изменил всё», то уже почти всё знаете. Игроков нужно оценивать по массе показателей, причём интуиция работает далеко не всегда. С помощью аналитики можно в разы увеличить эффективность тренировок, найти новых игроков, которые помогут команде и просто повысить уровень игры. Аналитика рулит.
Футбол в реальности сначала чем-то напоминает RPG без правил, где нужно разбираться. После введения аналитики — это такая же RPG, к сотням показателейЧитать полностью »
Python / Документация по Grab — библиотеке для парсинга сайтов
2012-03-05 в 10:27, admin, рубрики: data mining, grab, grablab, lxml, pycurl, python, spider, парсинг, метки: data mining, grab, grablab, lxml, pycurl, python, spider, парсингЯ ранее уже рассказывал на хабре о Grab — библиотеке для парсинга сайтов и о Spider — асинхронном модуле для парсинга. Рад сообщить, что я наконец-то дописал документацию по Grab. Я решил писать всё на русском языке т.к. на английском языке мне труднее выражать мысли. На деле писанины получилось гораздо больше, чем представлялось в начале, но я таки описал практически все функции библиотеки. Я решил просто вставить сюда, оглавление, кликайте на интересный раздел и читайте о возможностях Grab:
- <a rel="nofollow"Читать полностью »