Визуализация «народных» объектов Санкт-Петербурга на основе анализа публикаций в соцсетях — коротко об исследовании

Ранее мы рассказали о первой части исследования, которое провели магистры, аспиранты и сотрудники Института дизайна и урбанистики ИТМО. Они проанализировали несколько миллионов публикаций из популярной в России соцсети — Instagram — за 2018, 2019 и 2020-й и определили, о каких городских объектах пишут чаще всего, и какие из них наиболее популярны среди аудитории.

Сегодня продолжим рассказ и обсудим результаты второй части работы. Они говорят о том, какие тематики можно выделить и как они распределены по территории, плюс — показывают, к каким тематикам относятся популярные объекты.

Для визуализации «народных» объектов их координаты получили путем сопоставления по названию с геолоцированными объектами Санкт-Петербурга. Последние содержатся в Платформе городских данных, разрабатываемой и поддерживаемой ИДУ ИТМО. Результаты представили в виде слоя городских объектов — так выглядит их распределение на карте Санкт-Петербурга:

Распределение в центре города выглядит следующим образом:

Для каждого объекта в сервисе можно посмотреть карточку с названием, фотографией и количеством упоминаний в исходном массиве постов.

Как определяли тематики

Эту задачу решали параллельно с выделением объектов. В качестве основного подхода выбрали NLP-метод тематического моделирования (topic modeling), позволяющий определить тематики коллекции документов в виде массивов слов, характеризующих каждую тематику, а также отдельно для каждого текста выявить степень его принадлежности тем или иным тематикам. По сути этот метод относится к задаче кластеризации документов. В силу существенного объема данных этот процесс провели по ячейкам территории с объединением результатов.

Предобработанные 2,2 млн публикаций потребовали дополнительных манипуляций, чтобы представить каждую из них в виде массива значимых слов в начальной форме. Она включала удаление незначимых стоп-слов (по словарю стоп-слов библиотеки nltk для русского языка, а также по дополнительно вручную собранному словарю), слов короче трех символов и лемматизацию оставшегося корпуса слов.

На обработанных массивах постов для каждой ячейки территории провели тематическое моделирование при помощи библиотеки BigARTM с автоматическим определением наилучшего количества тематик на основании coherence score. В итоге получили около 10500 тематик, характеризующихся тридцатью ключевыми словами. Примеры наиболее популярных тематик и их топ ключевых слов, полученный методом тематического моделирования, можно увидеть в следующей таблице:

В результате получили тематики, совпадающие с популярными локациями и тематики, отражающие эмоции, в особенности любовь к городу и абстрактное счастье, что не может не радовать. К сожалению, последние не удалось качественно объединить для получения ограниченного количества осмысленных тематик, по которым можно было бы судить об имиджевом окрасе города среди аудитории соцсети.

Тогда ключевые слова 10 500 тематик рассмотрели как «выжимку», краткое представление и своеобразную аннотацию анализируемых постов. Кластеризовали их с учетом семантики, то есть смыслового значения, чтобы в одном кластере оказывались близкие по смыслу слова. Для этого использовали готовые эмбеддинги (числовые вектора) ключевых слов, полученные из модели русского языка, построенной на основе Национального корпуса русского языка. Работу с векторными моделями осуществлялали при помощи библиотеки Gensim.

Получилось так, что модели не были известны многие породы собак (корги, хаски, бигль, йорк), спортивные направления (кроссфит, зумба, пилатес), неологизмы, пришедшие из иностранных языков (квест, косплей, мастеркласс, ролл, селфи, винтаж, кавер) и ненормативная лексика. Таким образом, побочным продуктом стал способ поиска специфической лексики в больших объемах текста, который, возможно, будет применен к практическим задачам в других исследованиях.

Ключевые слова, для которых имелись готовые эмбеддинги, кластеризовали методом KMeans при помощи библиотеки scikit-learn, количество кластеров подбирали и оценивали экспертным путем. Таким образом получили довольно яркие и отличающиеся друг от друга по смыслу кластеры, которые после объединения и разделения экспертом приняли в качестве 60 финальных тематик.

Далее решали обратную задачу поиска постов, принадлежащих каждой из тематик. Делали это по содержанию ключевых слов в предварительно обработанных текстах постов. При этом чем больше было разнообразие ключевых слов в тексте, тем выше был индекс соответствия. Окончательное решение о принадлежности тематике определяли по подобранному экспертами пороговому индексу. В итоге сформировали массивы постов по каждой тематике и смогли перейти к определению окраски городских локаций, выраженных ячейками территории.

Результаты визуализировали. При выборе тематики на карте подсвечиваются ячейки, содержащие посты, отнесенные к тематике. Чем больше количество постов в ячейке, тем интенсивнее ее окраска. Например, для тематики «Изобразительное искусство» участок Васильевского острова выглядит так:

Можно видеть, что наиболее интенсивно окрашены ячейки рядом с Академией Художеств, пространством Артмуза и музеем Эрарта, которые действительно относятся к тематике изобразительного искусства.

Другой пример — для тематики «Природа». На выбранном участке интенсивно окрашенные ячейки расположены в районе Елагина острова и Приморского парка Победы. Они действительно являются зелеными зонами.

Не для всех тематик полученные карты были одинаково ожидаемы и очевидны, но в целом результаты позволяют говорить о применимости выбранных методов для решения задачи тематического моделирования территории на данных социальных сетей и дают богатую базу для исследований и интерпретаций.

Как сопоставляли объекты и тематики

На последнем этапе исследования для городских объектов, выделенных из исходных постов, определяли соответствие полученным выше тематикам. Городской объект считали принадлежащим тем тематикам, в постах которых наиболее часто встречалось его название. Каждый объект отнесли максимум к трем тематикам. Примеры для десяти популярных объектов можно увидеть в таблице:

Результаты сопоставления городских объектов и тематик вполне соответствуют их сути и, как говорится, «похожи на правду». Это является косвенным подтверждением качества полученных результатов и применимости выбранных подходов. Каждую тематику можно визуализировать как совокупность соответствующих тематике ячеек с разной интенсивностью окраски и городских объектов, отнесенных тематике. Например, так выглядит в центре города тематика «Театр»:

А так выглядит тематика «Еда»:

Для тематики «Литература» список соотнесенных объектов выглядит так:

Тематические прогулочные маршруты

Полученные результаты попытались применить в практических целях — строить тематические прогулочные маршруты по темам и продолжительности прогулки в минутах. В итоге помимо самих маршрутов смогли предоставить официальные достопримечательности, встречающиеся на пути.

Что в итоге

С помощью набора NLP-методов и языковых моделей неструктурированные и зашумленные данные соцсети переработали в стройную картину города, из которой можно получить информацию о популярных объектах и тематической окраске локаций. Кстати, наибольшее количество постов в одной ячейке было сделано по теме «Христианство». Эта ячейка находится рядом с Исаакиевским собором. На втором месте — тематика «Изобразительное искусство», а ячейка находится рядом с Эрмитажем. Больше всего постов по тематике «Красный» было сделано в ячейке рядом с Красным мостом, а по тематике «Синий» — рядом с Океанариумом.

В Санкт-Петербурге тематики «Музеи и выставки», «Изобразительное искусство» и «Театр» намного популярнее тематик «Алкоголь» и «Преступность». Более предметные и глубокие наблюдения на основании результатов будут представлены в дальнейших работах магистрантов и аспирантов ИДУ ИТМО.

Больше исследований и проектов в нашем блоге на Хабре:

• Как устроен открытый инструмент для анализа метагеномных данных

• Что там в Университете ИТМО: новые разработки и проекты ученых

• Открытые проекты нашей лаборатории мультиагентных систем