В прошлой статье, посвященной интернет-разведке, был кратко рассмотрен процесс сбора и анализа данных по конкретному человеку. Так как тема вызвала большой интерес, продолжаем начатое дело и в этой статье рассмотрим, как можно собирать информацию о целой группе пользователей.
Рассмотрим следующую ситуацию: новый пользователь Хабра, получив «минус в карму» еще до первого своего поста/комментария на ресурсе, решает узнать, а кто же скрывается за изощренно придуманными никами пользователей Хабра и задается вопросом: who is Mr./Ms. Habraman?
Будем следовать разведывательному циклу:
Шаг 1. Постановка задачи
Задача может быть сформулирована так: требуется составить портрет среднестатистического пользователя Хабра.
Шаг 2. Планирование
2.1 Гипотезы
Для эффективного сбора информации нам потребуются рабочие гипотезы, исходя из которых мы поймем, какие данные нам нужны и где их искать. Чтобы сформулировать гипотезы зачастую необходимо некое предварительное знание о предмете.
Для получения предварительной информации о пользователях Хабра наш неискушенный пользователь обращается к сайту Lurkmore, который, как известно отличается многосторонним освещением любого явления в современном мире. Озадаченный негативным настроем автора заметки наш интернет-разведчик формулирует следующие гипотезы относительного того, кем все таки является среднестатистический пользователь Хабра:
- Гипотеза 1. Суровый IT-специалист в возрасте, проживающий в одной из наших столиц, озлобленный давками в метро или многокилометровыми пробками;
- Гипотеза 2. Инопланетянин, оставшийся на нашей планете до окончательной починки системы управления своего корабля, которую он надеется закончить по руководствам, размещенным на Хабре другими инопланетянами;
- Гипотеза 3. Молодой образованный человек с широким кругом интересов, которого интересуют не только компьютеры.
Обратите внимание, что при формулировании гипотез мы стараемся соблюдать правило MECE (mutually exclusive and collectively exhaustive, что можно перевести как «взаимоисключающий и совместно исчерпывающий список»).
2.2 Данные и их источники
Исходя из набора сформулированных гипотез, мы теперь можем определить, какие данные нам понадобятся, чтобы их можно было проверить.
Соответственно нам интересны следующие данные:
- Интересы (увлечения, кино, книги и т.п.);
- Пол;
- Возраст;
- Местоположение (город, страна).
Хорошим источником подобной информации, как мы знаем, являются социальные сети, в частности российская сеть «ВКонтакте», в которой наш герой находит группу Хабрхабр с почти 670 тысячами подписчиков и с девизом, косвенно подтверждающем одну из сформулированных гипотез: «НЛО с вами!».
Шаг 3. Сбор данных
3.1 Инструменты
Для доступа к данным подписчиков группы в сети «ВКонтакте» нам понадобятся:
- Маркер доступа к данным сети (access token);
- R — язык программирования для статистической обработки данных и их визуализации графикой;
- Библиотека для доступа к VK API: vkR;
- Среда разработки для R: RStudio;
- MS Excel и LibreOffice.
3.2 Получение доступа к данным
Для выгрузки данных пользователей социальной сети «ВКонтакте» необходимо использовать VK API. Благодаря Дмитрию Сорокину, создавшему библиотеку vkR, работа с VK API из среды R доступна теперь любому уверенному (да и неуверенному) пользователю.
Для того, чтобы иметь возможность обращаться VK API необходимо сгенерировать так называемый маркер доступа (access token).
3.3 Процесс сбора данных
Так как в комментариях к прошлой статье уважаемые читатели показали большой интерес к практической составляющей процесса сбора данных, мы приведем здесь пример кода на языке R, на основе которого при желании можно полностью воспроизвести описываемые далее шаги.
Для работы с данными пользователей группы Хабхабр в сети «ВКонтакте» потребуется ее уникальный идентификатор, который легко определить, наведя указатель мыши, например, на кнопку «Написать сообщение» и, увидев, ссылку следующего вида «vk.com/im?sel=-20629724». Цифры 20629724 и являются нужным ID.
#устанавливаем библиотеку vkR
>install.packages("vkR")
#загружаем библиотеку и теперь можем обращаться к ее методам напрямую
>library(vkR)
#подключаемся с помощью добытого маркера доступа
>setAccessToken(access_token = "000000000..000")
#выгружаем в переменную userids список всех идентификаторов пользователей группы
>userids<-getGroupsMembersExecute(group_id = "20629724", progress_bar = TRUE)
#формируем выборку из 3000 случайно выбранных элементов списка
>sampleids<-sample(userids, 3000, replace=FALSE)
#выгружаем данные по выбранным пользователям
#описание полей: https://vk.com/page-1_27445058
>groupdata<-getUsersExecute(sampleids,fields = "sex,bdate,city,country,education,universities,relation,interests,movies,tv,books,games,about", drop=FALSE, flatten = FALSE, progress_bar = TRUE)
#подсчитываем количество инопланетян, девушек и парней
> qofmale_female<-as.data.frame(table(groupdata$sex))
#смотрим, что получилось
> qofmale_female
Var1 Freq
1 0 2
2 1 853
3 2 2145
#добавляем столбец с подписями для красивой гистограммы
qofmale_female$name<-c("Инопланетяне", "Девушки", "Парни")
#добавляем столбец с кодами цветов
qofmale_female$color<-c("#51b828", "#ff5d4e", "#2879a8")
#выводим диаграмму
> barplot(qofmale_female$Freq, names.arg = qofmale_female$name, col=qofmale_female$color, border = NA)
#выгружаем в CSV-файл на память или для дальнейших манипуляций в MS Excel/LibreOffice
write.csv2(qofmale_female, "C://girlsboysaliens.csv")
3.4 Выборка
Интернет-разведка должна быть эффективной и результативной, поэтому «перелопачивать» все 670 тысяч пользователей – не очень хорошая идея. Нам нужна достаточно большая выборка, сформированная случайно. Нашему герою нравится цифра 3000 и он останавливается на ней. Учитывая рекомендации социологов, такого объема хватит даже в случае, если не все профили будут полностью заполнены.
Шаг 4. Обработка данных
Благодаря R, обработка данных оказалась довольно простой. Единственная проблема, с которой столкнулся наш разведчик оказалась проблема с кодировкой: после выгрузки данных из сети «ВКонтакте» в консоли RStudio текст корректно не отображался, но проблему удалось решить следующим образом:
- Выгружаем полученные из соцсети данные в переменную;
- Сохраняем в CSV-файл;
- Открываем в LibreOffice – проверяем, что все читается, как надо;
- Сохраняем CSV-файл, устанавливая кодировку unicode UTF-8;
- Загружаем обратно в R c использованием read.csv с указанием кодировки UTF-8.
Наверняка, есть более оптимальное решение этой проблемы, кто знает – делитесь информацией в комментариях к статье.
Шаг 5. Анализ информации
Приступим к анализу полученных данных.
5.1 Парни, девушки и инопланетяне
Если посмотреть на распределение по половым признакам можно увидеть следующую картину:
Мы видим, что примерно 2/3 составили парни, 1/3 — девушки, а вот инопланетян, которые не смогли определиться с принадлежностью к какому-либо определенному полу, в нашей выборке оказалось всего двое. Гипотезу 2 можем смело отбросить.
5.2 Города и страны
Проверяя первую гипотезу, включающую предположение, что среди пользователей Хабра преимущественно жители наших двух столиц, посмотрим на распределение по городам.
Данное поле в своей анкете указали всего 2092 пользователя из нашей выборки. Список из топ-15-городов получился таким:
Две столицы занимают первые позиции, но общее количество пользователей, указавших Москву и Санкт-Петербург – менее четверти от 2092. Соответственно, чисто столичным Хабр назвать сложно.
Что же касается стран, в которых проживают наши пользователи, то видно, что в основном речь идет о России, Украине, Казахстане и Беларуси.
5.3 Возраст аудитории
Интересно посмотреть на распределение по годам рождения пользователей Хабра из выборки и увидеть, что возраст основной массы пользователей находится в диапазоне 20-30 лет.
Предположение о возрасте из первой гипотезы можно смело исключить, а вот соответствующее предположение из третьей гипотезы подтверждается.
5.4 Интересы
Посмотрим, чем живут наши пользователи. Это можно сделать, как минимум, проведя анализ следующих полей, указанных в профилях: interests,movies,tv,books,games,about. Дополнительно можно провести анализ групп, в которых наши пользователи состоят, благо у нас есть замечательный метод getGroupsForUsers(). С анализа групп и начнем. Ниже представлены топ-15 групп сети «ВКонтакте», в которых любят состоять пользователи Хабра.
Как видим, информационные технологии и программирование занимают не последнее место в жизни пользователей Хабра, но явно только на них никто не зацикливается.
Строить гистограммы по значениям полей interests,movies,tv,books,games,about имеет смысл после долгого сопоставления того, что указали пользователи, с общими категориями, но на это времени, к сожалению, нет. Поэтому пройдемся по некоторым моментам, которые бросились в глаза.
1. По всей видимости значительное число аудитории Хабра не жалует телевизор, но это не факт, а предположение, так как мы видим всего порядка 20 чел, и мы не знаем, сколько людей предпочли не сообщать об этом, хотя поступают именно так.
2. Литература – самая разнообразная, и что характерно, произведения Дональда Кнута включены в список любимых книг на ночь далеко не всеми.
3. Интересы отличаются исключительным разнообразием, и, что особенно радует, – спорт занимает не последнее место.
5.5 Просто любопытство: ТОП-25 имен
Проводя анализ собранных данных, стало интересно посмотреть, а какие самые распространенные имена у пользователей Хабра, в большинстве своем старающихся выбрать загадочный nickname. Получилась вот такая таблица из ТОП-25 имен из нашей выборки:
Шаг 6. Подготовка отчета и презентация результатов
Таким образом, подводя итоги проведенного небольшого исследования, можно смело описать портрет среднестатистического Мr. или Ms. Habraman:
- Возраст от 20 до 30 лет;
- Живет в крупном городе на территории России, Украины, Казахстана или Беларуси;
- Ведет активный образ жизни, интересуется ИТ, современной наукой и много чем еще;
- Вероятность того, что перед нами парень – 2/3, а что милая девушка – 1/3, и точно не инопланетянин.
Соответственно из сформулированных трех гипотез третья оказалась самой вероятной. Первые две были отброшены.
Проверка данных
Когда кто-нибудь представляет свой анализ, да еще и сообщает свои выводы, настоящий разведчик всегда перепроверит. Давайте это сделаем и мы – сопоставим полученные результаты с уже доступными данными из альтернативных источников.
Сверим с данными, которые представлены в разделе «Пользователи», доступного любому пользователю Хабра.
Совпадения:
- Всего пользователей: 739 159, а в группе «ВКонтакте» почти 670 тыс – порядок одинаковый.
- Очередность стран по количеству пользователей почти совпадает: Россия, Украина, Беларусь, Казахстан, США.
- Очередность городов: первые 5 совпадают.
Расхождения:
- По данным самого сайта, среди пользователей мужчин — 134 тыс, женщин — 10 тыс, а «остальных» — примерно 600 тыс. Возможно, это свидетельствует о нашествии инопланетян, но скорее всего пользователи, просто не стали заполнять полностью свои профили.
- Процентное соотношение по городам отличаются существенно. У нас Москва – не менее 15%, на сайте же указано, что в Москве всего 6 тысяч пользователей, что составляет 1% от всех зарегистрированных пользователей, что скорее всего вызвано также нежеланием пользователей полностью заполнять свой профиль на сайте.
Сверим также с данными, похожего исследования, проведенного в 2014-м году пользователем Apatic: Кто подписан на Хабрахабр?
Совпадения:
- 76% — мужчины, 24% — женщины, что очень близко к нашему результату;
- Распределение по возрасту совпадает;
- Топ-4 страны те в таком же порядке.
Заключение
Вот мы и разобрались как разведывательный цикл можно применить и для анализа информации о сообществах, что будет полезно и блогеру для понимания аудитории читателей, и маркетологу, анализирующему, кто покупает продукцию у конкурентов.
Литература
- Искусство визуализации в бизнесе. Как представить сложную информацию простыми образами. Нейтан Яу ISBN: 978-5-91657-737-2
- Много цифр. Анализ больших данных при помощи Excel. Джон Форман. ISBN 978-5-9614-5032-3, 978-5-9614-5954-8
Update:
У ряда читателей появились сомнения в том, что группа «Хабрхабр» в сети «ВКонтакте» значительно пересекается с группой пользователей самого Хабра. Чтобы проверить этот тезис, предлагаю небольшой опрос.
Автор: Эшелон
