Исследователями Цюрихского технологического института был произведён анализ мирового финансового рынка методами теории графов. Ученые пытались найти наиболее влиятельные, частные финансовые структуры. В рамках работы было проанализировано порядка 85 миллионов компаний, построены зависимости между ними и выделены наиболее значимые корпорации.
Рубрика «data mining» - 103
Анализ структуры мирового рынка методами теории графов
2012-06-01 в 12:05, admin, рубрики: data mining, datamining, Алгоритмы, анализ данных, Блог компании Luxoft, экономика, метки: datamining, анализ данных, экономикаАстрология и Data mining
2012-05-31 в 3:22, admin, рубрики: data mining, астрология, Вконтакте, социальные сети, метки: data mining, астрология, социальные сети 
Как и многие люди технического склада ума, я с крайним недоверием отношусь к астрологии, гороскопам и прочим псевдонаукам. Моё мировозрение пошатнулось когда я от скуки решил изучить влияение времени года в которое рождается человек, на его психические особенности. Оценка психических особенностей производилась по результатам соционического теста из приложения VK, которое насчитывает более 500000 пользователей. Надёжность и валидность теста небольшая, да и вся соционическая модель имеет ряд проблем. Но нам важно другое: понять есть ли хоть какие-то отличия между людьми родившимися в разное время. Объём выборки в полмиллиона человек позволяет надеяться на положительный результат. В ходе исследования ожидалось получить линейную зависимость между продолжительностью светлого времени суток в день рождения человека и его психотипом, но получилось Читать полностью »
Конкурс рекомендательных систем MSD Challenge
2012-05-03 в 9:33, admin, рубрики: challenge, data mining, Алгоритмы, конкурс, музыка, Программирование, рекомендательные системы, метки: challenge, data mining, конкурс, музыка, рекомендательные системы26 апреля стартовал конкурс рекомендательных систем Million Song Dataset Challenge. Завершение — через три месяца, 9 августа. В ходе конкурса нужно построить систему, которая по 100% истории прослушивания музыки для 1М пользователей и 50% истории для 100К пользователей сможет максимально точно достроить недостающие 50%. При этом доступны не только данные по прослушиванию, но и обширная база метаданных и даных по контенту от The EchoNest, MusicXMatch и Last.fm. При желании можно пользоваться любыми другими данными (у многих других музыкальных сервисов есть API, через который можно выудить ценную информацию).
Организаторы — CAL UCSD, LabROSA CU, IMIRSEL и UIUC.
Как такового приза у конкурса нет, но компания Zvooq решила сделать его чуть более интересным для российских участников. Лучшая команда из России (вне зависимости от абсолютного места) получит $5000 и возможность бесплатно отправить одного участника на ISMIR 2012.
Условия получения этого бонуса — все участники команды должны проживать в РФ, должно быть опубликовано описание используемого подхода (например, на Хабре или arxiv.org), команда должна заявить о себе на challenge@zvooq.com.
Как получить у инвестора деньги без утюга и резиновой дубинки?
2012-04-19 в 9:39, admin, рубрики: data mining, Блог компании Digital October, венчурный капитал, Идеи для стартапов, инвестирование, облачные сервисы, советы, стартап, стартапы, метки: data mining, венчурный капитал, инвестирование, облачные сервисы, советы, стартапДжефф Байер и Джон Файбер — умудрённые опытом советники AlmazCapital и Almaz Venture Capital, которым за год приходит около 3500 заявок. Они выбирают из них 5 или 10 штук, а остальные аккуратно опускают в мусорную корзину.
Недавно они рассказали, что именно ждёт инвестор от заявки, и куда сейчас наиболее интересно смотреть в плане развития.
КДПВ: в топике помогают зарабатывать такие штуки
Data Mining необычайно рулит
Самый интересный сегмент сегодня — это «большие данные». Дело в том, что объем данных, который генерируется и используется человечеством, растет в геометрической прогрессии. Эти данные надо уметь обрабатывать. Любая крупная компания так или иначе сталкивается с делом обработки больших массивов данных, потому что только тогда они становятся коммерческой информацией. Читать полностью »
Клиентская аналитика: Большой Брат знает, что ты купишь завтра и когда сменишь провайдера
2012-04-10 в 7:46, admin, рубрики: CRM, data mining, аналитика, бизнес-процессы, Блог компании КРОК, клиенты, маркетинг, продажи, управление проектами, эффективность, метки: crm, data mining, аналитика, бизнес-процессы, клиенты, маркетинг, продажи, эффективностьЕсли вы знаете, что один из ваших клиентов завтра проснётся с мыслью о покупке нового планшета — можно уже сегодня прислать ему письмо с кодом на скидку. Если вы понимаете, что по всем признакам клиент собирается перейти к другому провайдеру — можно повысить ему скорость, снизить цену или предложить что-то ещё. Это клиентская аналитика.
Если вы не знаете, какой тарифный план из трёх предложенных стоит запустить по всей стране, надо воспользоваться клиентской аналитикой, которая возьмёт каждого отдельного человека из базы, оценит эмоциональные и практические мотивы перехода – и позволит понять, сколько людей будут пользоваться этим тарифом.
Именно так выглядит Data Mining в клиентской аналитике. И именно так это уже работает на практике в сотнях крупных компаний по всему миру и в нашей стране.
Computer Science Center. Год номер два
2012-04-05 в 6:08, admin, рубрики: computer science, data mining, software engineering, обучение, Программирование, Учебный процесс в IT, ШАД, метки: computer science, data mining, software engineering, обучение, Программирование, шад 
Почти год назад мы объявили об открытии Computer Science Center. Сегодня мы начинаем новый набор, и это хороший повод проанализировать наш старт.
Программа «Рыбка» решила королевский гамбит
2012-04-03 в 11:10, admin, рубрики: data mining, IBM POWER 7, высокая производительность, шахматы, метки: IBM POWER 7, шахматыЗапустив шахматную программу Rybka на рабочей станции IBM POWER 7 с 2800 ядрами, автор программы сумел решить королевский гамбит — один из самых сложных и острых дебютов шахматной партии, который активно использовали Борис Спасский и Бобби Фишер. Компьютерная программа рассчитала исход всех вариантов развития шахматной партии и пришла к неожиданным результатам.
Оказывается, в случае принятия чёрными жертвы на f4 у белых остаётся только один ход, который ведёт в ничьей (в случае идеальной игры с обеих сторон) — слон на e2. Во всех остальных случаях белые получают мат.
Читать полностью »
Алгоритмы сегментации текста
2012-04-02 в 7:36, admin, рубрики: clojure, data mining, machine learning, nlp, обработка текста, метки: clojure, machine learning, nlp, обработка текстаЗдравствуйте.
В контексте анализа данных из твиттера возникла задача обработки хештегов. Нужно было взять хештег и разбить его на отдельные слова (#habratopic => habra topic). Задача казалась примитивной, но, получается, я ее недооценил. Пришлось перебрать несколько алгоритмов пока не было найдено то, что надо.
Эту статью можно считать некой хронологией решения задачи с анализом преимуществ и недостатков каждого из использованных алгоритмов. Поэтому, если вам интересна данная тема, прошу под кат.
Нечеткий кластерный анализ на примере социально-экономических показателей крупных городов России
2012-04-02 в 2:37, admin, рубрики: data mining, Алгоритмы, города, кластерный анализ, метки: города, кластерный анализВведение
Кластерный анализ — задача разбиения определенного множества объектов на группы, называемые кластерами так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Данный анализ предполагает следующие цели:
- Понимание данных путем выявления кластерной структуры.
- Сжатие данных. Если исходная выборка избыточно большая, то можно сократить её, оставив по одному наиболее типичному представителю от каждого кластера.
- Обнаружение новизны. Выделяются нетипичные объекты, которые не удаётся присоединить ни к одному из кластеров.
В данной статье будет использоваться метод нечеткой кластеризации c-means. Отличительной особенностью нечеткой кластеризации является тот факт, что каждый объект может относиться к каждому кластеру с определенной степенью принадлежности.
Для анализа будут выбраны 17 крупнейших городов России по населению, в качестве характеристик выступают социально-экономические показатели (демография, занятость населения, зарплата, преступность и т.д.). Результатом будут являться полученные кластеры городов.
Wikidata: первый новый проект Wikimedia Foundation с 2006 года
2012-03-31 в 17:24, admin, рубрики: data mining, wikipedia, база знаний, искусственный интеллект, Семантическая Сеть, метки: база знаний, искусственный интеллектWikimedia Foundation запустила сайт Wikidata — «открытую базу знаний о мире, которую могут читать и редактировать как люди, так и машины». Проект будут вести на всех языках, доступных в Wikimedia, и он должен стать неким центральным и единым хранилищем данных для всех проектов Wikimedia, примерно как Wikimedia Commons является центральным хранилищем мультимедийных файлов для всех остальных проектов.
Главная суть Wikidata — снабжать структурированной информацией компьютерные программы. Должен существовать некий единый формат и общий способ для всех компьютеров, как извлекать знания о мире, будь то информация о часовых поясах, координаты городов мира или дни рождения актёров. Все эти данные должны быть доступны компьютерам через единый интерфейс.
Читать полностью »