В конце прошлого года мы с alinatestova проанализировали 604 публикации в рубрике «Стартапы» (бывшая «Трибуна») на vc.ru и выяснили, какие проекты можно причислить к рекордсменам, что можно сказать о распределении стартапов по рынкам и о различных особенностях компаний, рассказывающих о себе на страницах издания.
В нашу выборку попали все материалы, выходившие в рубрике с момента ее возникновения в марте 2014 года — вплоть до августа 2016 года (включительно). Что мы собирали:
- дату публикации;
- данные о проекте (для его классификации);
- количество просмотров комментариев и шеров в соцсетях;
- а еще мы посчитали длину каждого текста в символах.
Тех, кто хотел бы узнать, что из всего этого получилось, приглашаю под кат.
Для классификации проектов по рынкам мы взяли в качестве референса материал «Российской Венчурной Компании» и PWC (их обзор венчурной индустрии России). Агрегированный показатель вовлеченности мы считали по методу, предложенному здесь (блок Calculating Engagement Rate For Your Posts with Insight Data).
Если точнее, мы разделили сумму комментариев и шеров в соцсетях на общее количество просмотров по каждому проекту и перевели полученный результат в проценты. Это относительный показатель, он полезен для сравнения разных питчей: в частности, у проекта-победителя в этой категории значение показателя вовлеченности (9,74%) больше среднего по всем проектам (1,34%) почти в 7,3 раза.
По количеству просмотров самыми популярными проектами стали:
- FindFace — сервис знакомств по фотографии;
- MSQRD — сервис для изменения внешности во время видеочатов в режиме реального времени;
- RealSpeaker — инструмент для преобразования речи в текст.
По индексу вовлеченности топ-3 питчей выглядит так:
- Happn — приложение для знакомств на основе гипергеолокации;
- Welltory — приложение для контроля состояния здоровья;
- Coddy — курсы по программированию для детей.
Мы разделили все проекты на цифровые и нецифровые: в цифровые попали онлайновые продукты и сервисы (например, мессенджеры), в нецифровые — те продукты и сервисы, которые имеют сильную «физическую» (офлайн) составляющую и чей конечный продукт поставляется в офлайне (например, устройства).
Поскольку любой проект сочетает в себе различные характеристики (например «образовательное медиа» или «медицинский гаджет»), для каждого из стартапов мы стремились определить сразу несколько основных рынков (до трёх). В итоге мы получили следующее распределение:
Когда мы высчитывали индекс вовлеченности для каждой из публикаций, то заметили интересную особенность: наиболее популярные (по данному индексу) проекты концентрировались во второй половине списка, ближе к концу.
Такое резкое увеличение интереса можно было бы связать с тем, что материалов в «Стартапах» на vc.ru в последнее время стало больше, а проекты питчатся там более активно, чем раньше. Однако это не так — в среднем в месяц в этой рубрике выходит около 20 публикаций, и ситуация не менялась с момента ее возникновения. «Провалы» на графике приходятся только на январские праздники, и со дня старта рубрики новые выпуски выходят каждый рабочий день без исключения.
Интересен тот факт, что тенденция к росту индекса вовлеченности наметилась примерно в тот момент (сентябрь 2015), когда издатель провел ребрендинг («Цукерберг позвонит» >> vc.ru). Это хорошо видно на графике, который расположен выше.
Еще один момент, показавшийся нам любопытным — сравнение количества шеров в соцсетях:
Как видите, среднее количество шеров что у Facebook, что у «ВКонтакте» невелико (хотя и тут Facebook заметно лидирует). Однако максимальное количество шеров оказалось просто несопоставимо — 870 против 131. Аудитория гораздо охотнее делится материалами из рубрики «Стартапы» в Facebook. Если, конечно, питч не касается проекта, связанного с «ВКонтакте», — напомним, рекордные для соцсети 131 шер набрал сервис FindFace, который ищет профили пользователей vk.com по фото.
Корреляции и некоторые неочевидные зависимости
Мы решили выяснить, коррелирует ли число просмотров материалов с другими количественными показателями. Мы построили линейную регрессию, в качестве зависимой переменной выбрали число просмотров, в качестве объясняющих — количество комментариев, шеров в соцсетях и дату публикации.
Логика в такой постановке задачи есть: в соответствии с нашей гипотезой, больше просмотров получают те статьи, которые активно комментируют (комментирующие могут рассказать о материале близким и друзьям и в целом подогревают интерес к публикации) и шерят в соцсетях. Дата публикации в такой постановке вопроса тоже должна быть важна (помните экспоненциально растущий график вовлеченности?). Что получилось:
Что означают цифры: модель адекватна (логика нас не подвела), при этом число просмотров на 27% определяется набором тех переменных, которые мы выбрали в качестве объясняющих (то есть количеством комментариев, шеров в соцсетях и датой публикации) — об этом свидетельствует значение Adjusted R2 (в верхнем правом углу). Процент, конечно, небольшой, но для «полевых» данных, собранных в реальных условиях, вполне достойный. И реалистичный.
Если построить уравнение регрессии, результат получится следующий (округляем столбец «Коэффициенты» до целых):
Views = 77Comments + 17Fb + 125Vk — 8DMY + 155459
Что это значит: каждый комментарий добавляет материалу 77 просмотров, каждый шер в Facebook — еще плюс 17 просмотров, каждый шер во «ВКонтакте» дает (внимание!) дополнительных 125 просмотров.
При этом если сравнивать две «среднестатистические» публикации, одна из которых будет сделана вчера, а вторая — сегодня, вчерашняя наберет на 8 просмотров больше (как видите, показатель даты — DMY — в уравнение попал со знаком «минус»).
Страшное число в конце (константа) показывает количество просмотров, которое набрала бы статья, если бы все остальные переменные равнялись нулю. С математической точки зрения это замечание верно, однако в нашей модели равенства всех коэффициентов нулю не происходит (дата у публикации всегда «ненулевая»), поэтому давать константе рациональное объяснение в нашем случае некорректно (подробнее об этом тут).
В шапке материала — график просмотров «Стартапов». Серый пунктир показывает среднее число просмотров (оно сравнительно невелико). И вот что интересно: несмотря на то, что «бомбические» по просмотрам публикации про MSQRD и FindFace прошли относительно недавно, в левой части графика (зеленый овал) «проектов-хорошистов», превысивших среднюю отметку, намного больше, чем в правой (красный овал).
Да, пиковые значения в первые месяцы существования «Стартапов» (тогда еще «Трибуны») выглядят скромнее, но в целом приходится признать — модель нас не обманула, и с течением времени рубрику действительно стали читать меньше. Чуть-чуть.
Из чего сделаны комменты и шеры
Мы не стали останавливаться на одной корреляционной зависимости и решили посмотреть, есть ли у нашего набора данных еще какие-то интересные неявные характеристики. Поэтому, разобравшись с просмотрами, мы перешли к шерам и комментариям. Получилось следующее (начнем с комментариев):
Итак, мы исходили из гипотезы о том, что число комментариев может зависеть от количества просмотров, числа шеров в соцсетях (логично) и чего-то еще. Методом подбора определили те параметры из нашей базы, которые были действительно значимыми — ими оказались (внезапно): объем текста и принадлежность к теме digital. Еще раз повторимся, это полевые данные и неочевидные зависимости, поэтому значение Adjusted R2 весьма скромное — всего 13,7%.
Но это вполне объяснимо — на количество комментариев могут влиять самые разные факторы — начиная от автора текста (чем известнее и одиознее, тем активнее идет дискуссия) и заканчивая тональностью обсуждения (читатель раскритиковал проект, представители компании отреагировали излишне резко, и «понеслась») — такие моменты остались за рамками нашего исследования.
Строим уравнение регрессии (снова округляем значения в столбце «Коэффициенты» — теперь до третьего знака после запятой):
Comments = 0,002Views + 0,001Symbols — 5,655Digital + 27,717
Как выясняется, наша первоначальная гипотеза оправдалась только на треть — число комментариев действительно зависит от просмотров. И не зависит от шеров в Facebook и во «ВКонтакте» — обе эти переменные оказались статистически незначимыми (здесь и далее используем уровень значимости =0,1). Оказывается, сколько текст ни «шерь», комментариев от этого не прибавится.
Что означает то, что осталось: каждая тысяча просмотров «добавляет» материалу два комментария, а каждая тысяча символов текста — еще один (про константу мы уже говорили). При этом цифровые проекты в среднем «зарабатывают» почти на 6 комментариев меньше, чем не-цифровые (можем предположить только, что non-digital в отличие от цифровых проектов «берет за живое»).
Теперь посмотрим, от чего зависят шеры в соцсетях. Начнем с Facebook:
Что проверяем: зависимость числа шеров на Facebook от количества шеров во «ВКонтакте», объема текста, даты публикации, просмотров и комментариев.
Что получаем: значение Adjusted R2 оказывается в районе 20% — наша модель на 20% объясняет изменчивость зависимой переменной (количество шеров на Facebook). Это, опять же немного, но, как говорят иллюзионисты, запомните эту цифру, в будущем она нам пригодится.
Уравнение регрессии будет выглядеть так:
Fb = 0,635Vk + 0,005Symbols + 0,043DMY + 0,002Views — 889,651
Коэффициент перед переменной Vk показывает, что связь между соцсетями есть: с ростом числа шеров во «ВКонтакте» растет и их количество в Facebook, например, 10 шеров в отечественной соцсети прибавят материалу еще 6 шеров в Facebook. При этом большие тексты «шерят» в Facebook активнее — каждая тысяча знаков добавляет публикации еще 5 кликов по кнопке «поделиться». Каждая новая тысяча просмотров также обеспечивает материалу дополнительную пару шеров.
Что касается даты публикации — вспоминаем график с коэффициентом вовлеченности: сегодня наша публикация получит на 4 шера больше, чем могла бы набрать 3 с лишним месяца назад (на 100 дней раньше). Кстати, число комментариев оказалось в модели статистически незначимым.
И, наконец, «ВКонтакте»:
Проверяем все то же самое, что и в Facebook: зависимость от другой соцсети, объем текста, дату публикации, просмотры и комментарии. И удивляемся: если в случае в Facebook этот набор факторов объяснял всего 20% изменчивости зависимой переменной, то здесь показатель Adjusted R2 достигает 45%. При этом комментарии (в отличие от предыдущей модели) оказываются значимыми.
Уравнение регрессии:
Vk=0,048Fb — 0,001Symbols + 0,037DMY + 0,001Views — 0,049Comments — 736,406
Итак, связь между соцсетями, опять же, подтверждается, однако в случае с «ВКонтакте» она намного слабее: только 100 шеров в Facebook обеспечат 4 шера во «ВКонтакте» (как мы помним, там материалы вообще шерят менее активно). При этом длинные тексты пользователи «ВКонтакте» не особенно жалуют — дополнительная тысяча символов текста будет означать «минус один» шер.
Дата публикации также играет роль: сегодня наша публикация получит на 3 шера больше, чем 100 дней назад. Дополнительная тысяча просмотров также добавит в нашу копилку один шер. А вот комментарии почему-то демотивируют пользователей делиться материалами: чем больше комментариев, тем меньше шеров. Но сильно переживать не стоит — чтобы заработать «минус 5» шеров, публикации надо набрать минимум сотню комментариев.
В итоге
Рубрика «Стартапы» («Трибуна») на vc.ru — интересная площадка для российских проектов, нацеленных на локальный рынок (и не только — взять, например, MSQRD). Судя по нашей статистике, наиболее активно питчатся в ней проекты, связанные с социальными сетями, электронной коммерцией, облачными сервисами, коммуникациями и управлением задачами.
При этом у аудитории социальные сети и коммуникационные проекты вызывают определенно больше интереса, чем облака или таск-менеджеры. Финтех, медиа и hardware традиционно замыкают этот список. Однако не стоит переживать: стабильный рост уровня вовлеченности для этой площадки говорит о том, что у нее и у участников рубрики «Стартапы» все еще впереди.
Вот еще несколько «занимательных выводов», к которым мы пришли, анализируя рубрику:
- Активность аудитории серьезно добавляет тексту просмотров. При этом один комментарий прибавит в копилку 77 просмотров, а один шер в Facebook — еще 17.
- Тексты во «ВКонтакте» шерят неохотно и редко. Однако один такой шер добавит материалу сразу 125 просмотров.
- Сейчас новые материалы в рубрике «Стартапы» читает (в среднем) чуть меньше людей, чем в первые месяцы существования рубрики. Однако текущая аудитория «Стартапов» намного активнее комментирует и распространяет тексты в соцсетях.
- Шеры в соцсетях связаны между собой: чем больше текст распространяют во «ВКонтакте», тем выше этот показатель и в Facebook (10 шеров во «ВКонтакте» тянут за собой еще 6 в Facebook). В обратную сторону этот механизм тоже работает, но на порядок слабее (сотня шеров в Facebook добавит материалу всего 4 шера во «ВКонтакте»).
- В Facebook активнее шерят более длинные тексты, во «ВКонтакте» — более короткие.
- Между собой количество комментариев и шеров в соцсетях практически никак не связано
- Нецифровые проекты аудитория комментирует более охотно.
Почему это не «универсальный калькулятор успеха»
Закономерный вопрос, который возникает под конец повествования — а стоила ли игра свеч (иначе говоря: можно ли доверять результатам исследования, когда коэффициент Adjusted R2 оказывается ниже 50%)? Тут все зависит от того, с какими целями эти результаты использовать. Если вы хотите получить универсальный счетчик популярности — скормили ему длину текста и пару других параметров, на выходе получили прогнозируемое число шеров и просмотров — то его, конечно, на основе наших выводов построить нереально.
Как и на основе многих других — все-таки создание интересных материалов — процесс творческий, и в рамки статистики его, а также реакцию читателей просто так не загонишь. Кстати, эта «творческая/эмоциональная» составляющая — одна из главных причин, ограничивающих в данном случае рост коэффициента детерминации: исследования с выраженным «человеческим фактором» действительно характеризуются довольно скромными показателями Adjusted R2 (еще пару доводов в пользу того, что статистические исследования не стоит сводить к значению данного показателя, можно прочесть тут).
Когда могут пригодиться результаты этой работы
Во-первых, мы показали (и не «на словах»), что восприятие материала действительно зависит от даты публикации и длины текста, вероятность, что ваш текст расшарят в Facebook коррелирует с аналогичной вероятностью для «ВКонтакте» и так далее — все эти зависимости реально существуют, пусть эффект от них для «сферической публикации в вакууме» и не получится точно спрогнозировать заранее.
Во-вторых, взять, например, факт корреляции длины текста с количеством комментариев и шеров в Facebook — еще одно доказательство того, что читатели ценят подробные рассказы о том, как устроен ваш проект. Не ленитесь рассказывать о том, какие подводные камни ожидали вас на пути к успеху (или неудаче), что вам удалось реализовать, а что не вышло.
История — эмоциональная и жизненная — ценится выше, чем, например, подробности технической реализации (с таким рассказом лучше сразу заявиться на Хабре).
Еще одно косвенное подтверждение тому — популярность «не-цифровых» проектов у аудитории — их создатели обычно оказываются ближе к народу, потому что рассказывают истории о «реальном»: физических объектах или услугах. «Очеловечить» такой рассказ основателю non-digital-проекта обычно проще, чем создателю очередного интернет-магазина.
Еще один вывод, который можно сделать из наших результатов: не ленитесь делиться публикацией в соцсетях — это действительно добавит материалу просмотров. Целиком и полностью уповать на «ВКонтакте» в данном случае не стоит – все-таки пользователи Facebook распространяют материалы гораздо активнее. Однако если ваш проект так или иначе связан с отечественной соцсетью, стоит ожидать закономерного прилива читателей из ВК.
Не откладывайте публикацию «на потом»: если у вас уже есть материал, шлифуйте его и отправляйте в редакцию, если нет — самое время взяться за эту задачу. Чем раньше вы опубликуете материал, тем больше можете получить просмотров — хотя бы потому, что площадки, в том числе и VC.ru, постоянно развиваются и с каждым днем предлагают потенциальному читателю все больше спецпроектов, интервью и других текстов, с которыми придется конкурировать вашей статье (помните про график вовлеченности и зависимость числа просмотров от даты).
Не стоит переживать по поводу того, в какой именно день недели вы отправите в редакцию свой рассказ: как правило, желающих опубликоваться в подобных рубриках достаточно много, поэтому редакция формирует очередь, и предсказать заранее, будет ли ваш материал опубликован в начале недели (когда аудитория наиболее активна) или в конце, сложно.
И даже если ваш текст вышел в не самый удачный с точки зрения активности день недели, расстраиваться не стоит: повторимся — жизненная история и честный рассказ о взлетах и падениях проекта всегда найдут своих благодарных читателей.
Автор: dmitrykabanov
