Одно из наиболее интересных подразделений в Microsoft — это Microsoft Research. В этом подразделении ведутся исследования и разработки на самые разные темы и, помимо всего прочего, присутствует такой проект, как Microsoft Azure for Research. Этот проект помогает исследователям использовать облачные вычисления в своей работе путем безвозмездного предоставления вычислительных мощностей Microsoft Azure. Наш Центр изучения Интернета и общества получил этот грант, и в этом посте я расскажу, как это было и что из этого вышло.
Немного о нашем проекте, под который мы получали грант
Социальная сеть ВКонтакте на сегодняшний день в 5-10 раз больше русскоязычного Facebook и представляет большой интерес для исследователей. Граф пользователей содержит около 220 миллионов узлов, а количество постов исчисляется миллиардами. При этом, ВКонтакте часто игнорируется исследователями из социальных дисциплин, несмотря на более открытую политику конфиденциальности, чем, например, у Facebook. Частично это можно объяснить сложностью сбора большого объема данных, включающих пользователей и их друзей, посты и комментарии к ним, данные по лайкам и репостам. Кроме того, отсутствуют готовые инструменты анализа, как, например, NodeXL для Facebook. Можно предположить, что социологи не всегда обладают необходимыми навыками программирования и управления базами данных. Цель нашего проекта — решить эту проблему и выпустить в открытом доступе анонимизированный набор данных, содержащий связи между пользователями, группами, постами и лайками. Благодаря Microsoft Azure мы постараемся упростить задачу ученых из социальных наук и дать им дополнительные возможности для анализа.
.png "Hadoop vs Dryad (или ничего личного)")
