Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению

в 9:07, , рубрики: epic growth conference, getloyal, growth hacking, mobio, Блог компании Mobio, команда роста, конверсия, конференции, метрика ценности, Монетизация мобильных приложений, продвижение мобильных приложений, продвижение продукта, продуктовый маркетинг, тестирование гипотез, эксперименты

Главный growth менеджер в Skyscanner Катерина Тониоло (Caterina Toniolo) рассказала на Epic Growth Conference о том, как команда проверяла гипотезы и проводила эксперименты, чтобы увеличить рост мобильного приложения.

Смотрите видео и читайте заметки под катом.

Сайт Skyscanner посещают 60 млн уникальных пользователей в месяц, а приложение скачали более 70 млн человек. Продукт позволяет искать авиабилеты на различных устройствах, не только десктопных и мобильных, но и через Cortana, Alexa, Apple Watch.

Главные сложности на пути к Mobile First стратегии

Перед тем как запустить эксперименты, необходимо определиться с главной метрикой в продукте. Для Skyscanner «путеводная метрика» — Total Transaction Value или общая цена сделки сроком в 12 месяцев. Для команды это значит, что необходимо увеличить общую стоимость транзакций за ближайшие 12 месяцев.

В своей практике Skyscanner использует маркетинговую модель AARRR, в которую входят так называемые «пиратские» метрики: привлечение, активация, удержание, рефералы и выручка. Удержание (retention), как и для явного большинства компаний, — важнейшая метрика, которая показывает процент пользователей, которые возвращаются в продукт.

Команда роста Skyscanner максимально сфокусирована на стратегии Mobile First, потому что всё больше пользователей travel-вертикали используют мобильные приложения, а не ноутбуки, для планирования своих путешествий.

Однако на пути к стратегии Mobile First много препятствий. В случае Skyscanner препятствия заключены в самом продукте, который изначально разрабатывался как веб-сайт, а не как приложение. Другие нерешённые вопросы — кроссплатформенность, гало-эффект, атрибуция, диплинки и работа с данными.

Кроссплатформенность и гало-эффект

В первую очередь перед запуском тестов продактам необходимо рассчитать показатель LTV (life-time value, пожизненная ценность клиента). Для этого необходимо понимать поведение пользователей на различных устройствах. Но, если авторизация не обязательна, как в Skyscanner, это становится сложной задачей.

Другой важный момент — понимание гало-эффекта и того, как он влияет на деньги компании, а именно: сколько тратится на привлечение пользователей в приложение и на увеличение органического привлечения. Для этого чрезвычайно важно понимать общее поведение пользователей и показатель LTV.

Атрибуция

Самая популярная модель атрибуции — last-click, атрибуция по последнему клику, но работает она далеко не для всех компаний.

Например, Skyscanner достиг такого масштаба, при котором атрибуция по последнему клику перестала работать. Skyscanner низкомаржинальный продукт, и компания старается выжать максимум из ресурсов. Поэтому команда определила для себя модель мультитач-атрибуции, которая позволяет кратно увеличить масштабы роста.

Диплинки

Крайне важно предоставить пользователю максимальный комфорт как при взаимодействии с сайтом или приложением, так и при переходе между этими платформами. Но работать с диплинками не так просто, как с обычными веб-ссылками.

Данные

С одной стороны, есть рынок приложений, который даёт различные источники и полезные типы данных. С другой, команда должна приложить огромные усилия, чтобы всё обработать и убедиться, что это не разобщённые данные.

Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению - 1

Тестирование гипотез и эксперименты роста в Skyscanner

В любой компании рост всегда должен быть поставлен на практику. Чем больше вы тестируете, тем больше открываете для себя возможностей вырасти.

Эксперимент с гало-эффектом

Гипотеза: если на индийском рынке увеличить количество платных установок в день, количество органических установок тоже вырастет.

Метрики: органические загрузки.

Результат: как итог пять итераций теста — удалось добиться оптимального эффекта ореола: одна органическая установка на 1,6 платных установок. Команда тестировала разные варианты расходов в день, чтобы найти тот оптимальный. Начали с 500 платных установок в день, потребовалось пять платных установок, чтобы одна стала органической. Но после того как был найден оптимальный уровень в 2400 платных установок, коэффициент прироста закрепился на уровне 1,6.

Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению - 2

Эксперимент по оптимизации приложения в App Store

Эксперимент Skyscanner про возможности роста на российском рынке.

Гипотеза 1: если в iTunes Connect добавить релевантные ключевые слова, то можно увеличить рейтинг этих ключевых слов и в App Store.

Гипотеза 2: ключевые слова в описании приложения в App Store помогут увеличить рейтинг приложения и количество загрузок из России.

Мы проанализировали описание приложения на русском языке и выяснили, что из доступных 100 символов мы использовали только 95. Одно из слов составляло целых 12 символов (14% от всей длины описания!). Мы решили использовать два слова вместо одного.

Использование прилагательных — ещё один потенциал для роста. Благодаря им можно обеспечить намного большее разнообразие ключевых слов. Есть, конечно, такие высокочастотные ключевые слова, как «автомобиль». Однако они сильно конкурировали бы с другими словами и при этом не были бы максимально релевантными. Вдобавок мы начали учитывать ключевые слова, которые автоматически предлагались на iOS.

В итоге команда создала новый список ключевых слов. Основным показателем успеха стало увеличение рейтинга, вторичной метрикой были органические загрузки. Согласно гипотезе, успехом станет увеличение рейтинга путём замены как минимум 50% ключевых слов.

Метод: Skyscanner применил двухвыборочный t-тест и использовал два разных набора данных с уровнем достоверности в 95%, чтобы сравнить их между собой и узнать, какой победит. Первая группа изучала средний рейтинг за три месяца до начала эксперимента. Вторая группа изучала данные, полученные в ходе эксперимента, спустя один месяц после теста.

Результат: команда улучшила рейтинг более 50% ключевых слов.

В результате мы получили ещё один вывод: возможности для оптимизации повсюду, даже там, откуда не ждёшь.

Совет: делайте двухвыборочные t-тесты.

Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению - 3

Эксперимент с оптимизацией приложения в Google Play

Гипотеза: если разместить флаг РФ на значке приложения в Google Play, это увеличит количество органических установок из России.

Команда Skyscanner создала нулевую гипотезу — это такая гипотеза, которую исследователь пытается опровергнуть, доказать обратное. Чтобы опровергнуть гипотезу, Skyscanner установил минимальный обнаруживаемый эффект — через 14 дней после запуска теста увидеть увеличение органических установок на 4,25%.

Результат: с флагом на иконке в Google Play количество органических установок локальной версии приложения снизилось на 4,8%. Мы потерпели неудачу, но вынесли важный урок.

Эксперимент с платной оптимизацией для привлечения пользователей

Гипотеза: с помощью платной оптимизации можно повысить конверсию.

Используя анонимные ID в мобильном трекере AppsFlyer, мы отслеживали конверсию в приложении и оптимизировали расходы на те ID, которые показывали лучший перформанс.

Метрика: рост ROI.

Результат: в первой итерации ROI вырос на 3%. В результате дальнейшей оптимизации расходов на анонимный ID с самыми результативными показателями, ROI увеличился ещё на 66%. Этот эксперимент был признан одним из самых эффективных в Skyscanner и теперь практикуется каждый месяц.

Эксперимент с оптимизацией рейтинга

Гипотеза: если предложить пользователям ставить рейтинг прямо в приложении, количество рейтингов в App Store вырастет.

В мобильном приложении Skyscanner оставить отзыв можно было за два шага. На первом этапе пользователей спрашивали, нравится ли им приложение. Тем, кто отвечал положительно, предлагали поставить звёздочки в App Store. Здесь команда решила убрать первый шаг и направить пользователей сразу в App Store. Целью эксперимента было увеличение количества отзывов и органических загрузок. До эксперимента средний рейтинг составлял 4,36 балла.

Метрика: общее количество отзывов, средний рейтинг звезд в приложении и количество органических загрузок.

Результат: средний рейтинг не изменился, зато количество отзывов увеличилось на 48%. После этого решено было повторить тест в масштабах всего мобильного продукта Skyscanner.

Мы также заметили увеличение органических загрузок, но прямую связь с экспериментом не нашли.

Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению - 4

Эксперимент с взаимодействием и вовлечением

Гипотеза: если разместить в поисковой строке направление «Звёздные войны», коэффициент вовлечения пользователей увеличится.

Эксперимент проводился в течение одного дня, на Пасху. В строке поиска вместе с рекомендациями и выгодными предложениями были добавлены планеты из вселенной «Звёздных войн» с выдуманными описаниями, иллюстрациями и ценами.

Результат: уровень взаимодействия со строкой для поиска увеличился на 27,5%. Кроме того, были выявлены возможности роста с этим элементом.

Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению - 5

Больше докладов по продуктовому росту читайте в Telegram-канале @epicgrowth.

Расшифровка выступления опубликована на VC.

Автор: Olga_Kovalieva

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js