Мы подготовили для читателей Хабры перевод статьи команды Uber Labs. Коллеги из Uber описывают процесс работы аналитиков узкоспециализированного типа (в области науки о поведении) в рамках огромной корпорации, как устроено их взаимодействие с аналитиками других типов (UX-исследователи, продуктовые аналитики) и коллегами из других команд (продуктовых, внутренней разработки), какие задачи они решают и как к ним подходят. Комментирует материал Глеб Сологуб, директор по аналитике Skyeng.
В Uber Labs мы стремимся использовать идеи и методы науки о поведении, чтобы создавать интуитивно понятные и приятные программы и продукты. Члены нашей команды имеют ученые степени по психологии, маркетингу и когнитивным наукам, обладают знаниями предметных областей — таких, как принятие решений, мотивация и обучение, методологические возможности в дизайне экспериментов, а также являются экспертами по статистическому моделированию и причинно-следственным подходам. Эти знания позволяют нам глубоко анализировать проблемы повышения степени удовлетворенности клиентов, а благодаря нашему опыту в области методологии и статистики мы можем измерить влияние удовлетворенности на бизнес (одним из таких подходов является моделирование посредника).
В этой статье мы расскажем, как наша команда применяет теоретические знания о человеческом поведении на практике, а также о том, как и почему мы сотрудничаем с командами по продукту и маркетингу для улучшения пользовательского опыта наших клиентов. В частности, мы рассмотрим пример с недавно запущенным продуктом Express POOL.
Наш путь к поведенческой науке (о данных)
В 2014 году Uber практически каждый день запускался в новом городе. Рабочие группы в каждом регионе должны были понять, какие стратегии коммуникации и продукты работают в данном регионе лучше всего, но у большинства из них не хватало опыта в дизайне экспериментов и статистике. Чтобы решить эту проблему, мы создали Uber Labs — команду исследователей с бэкграундом в психологии, маркетинге и когнитивных науках. Эта централизованная команда должна была использовать свои способности в методологии и дизайне экспериментов и анализировать данные путем иерархического моделирования для улучшения наших продуктов в интересах пассажиров и водителей в разных регионах.
Индивидуальные консультации были эффективными, но нам нужно было масштабировать эту экспертизу на постоянно растущий набор наших продуктов. Создав шаблоны калькуляторов для расчета размера выборки и статистического анализа с помощью Shiny от RStudio, мы предоставили нетехническим командам возможность использовать наши знания для своих задач. Эти инструменты, для работы с которыми нужно было просто загрузить свои исходные данные, включали встроенные проверки статистических допущений и соответствия модели, а также автоматизированный выбор подходящего аналитического метода для конкретного набора данных. На выходе пользователь получал результаты анализа и понятные объяснения этих результатов. Позже вместе с командой разработки платформы для экспериментов мы создали процесс анализа и проверки данных в нашем инструменте для A/B-тестирования. Так другим командам стало еще проще эффективно анализировать данные.
По мере того как компания росла и расширялась, создавая новые направления развития продукта, мы поняли, что можем усилить наше влияние, сотрудничая с командами разработчиков напрямую. В начале 2017 года мы стали применять прикладные знания о поведении в дополнение к статистике. Мы перешли от пассивного подхода и поддержки уже сформулированных идей к активному: стали использовать наши знания в области обучения и запоминания, что позволило нам предлагать конкретные решения на основе существующих научных исследований. Помимо экспериментов, мы начали поддерживать новые направления: стратегию продуктов, дизайн программ, оптимизацию контента и измерение влияния на бизнес.
Благодаря нашим тренингам специалисты по поведению хорошо разбираются в качественных и количественных методах исследования. Наше поле деятельности расширилось, мы перестали быть просто исследователями, превратились в экспертов по анализу данных и решили сосредоточиться на количественных методах исследования как важной составляющей нашей работы с данными. В UX отделе Uber работают высококвалифицированные специалисты, которые занимаются качественными исследованиями. Фокусируясь на количественных методах, таких как тестирование теоретически обоснованных идей посредством экспериментов и применение новых статистических подходов, мы дополняем более широкую исследовательскую экосистему Uber.
Наш рабочий процесс: как мы реализуем идеи и методы
Мы организовали наш рабочий процесс так, что мы не только помогаем решать проблемы с помощью консультирования в конкретный момент, но и обеспечиваем эффективность в долгосрочной перспективе, масштабируя знания и методы в области науки о поведении с помощью специальных шаблонов и платформ. Расскажем подробнее об этих процессах.
1. Консультирование — это наиболее эффективный подход к решению тактических задач на уровне конкретного продукта или функции. Мы работаем напрямую с командами по продукту, маркетингу и другими специалистами по данным и предоставляем научно обоснованные рекомендации по решению стоящих перед ними проблем.
2. Чтобы оказывать более масштабное влияние на формирование продуктовых и аналитических стратегий, наша команда создает гайдлайны по контенту и разработке, а также шаблоны на R и Python, что позволяет нашим коллегам в Uber самостоятельно изучать и воспроизводить наши методы.
3. Наконец, мы сотрудничаем с командами по всей компании, чтобы предоставлять доступ к нашим аналитическим наработкам и методологиям в один клик. В качестве примера можно привести нашу с командой разработки платформы для экспериментов работу над инструментом для постэкспериментального анализа.
Наше консультирование часто связано с применением теоретических знаний к проблемам, которые мы опишем в примере ниже. В своей работе мы применяем количественный подход к решению таких задач. Вся наша работа с данными строится вокруг вопросов о поведении пользователей и делится на три категории: количественная оценка психологических конструктов и процессов, применение методов поведенческой науки и проведение экспериментального анализа.
Во-первых, мы используем данные Uber для количественной оценки скрытых психологических конструктов и процессов, которые определяют поведение. Для этого мы или адаптируем существующие методы наук об обществе и поведении, такие как факторный анализ, или разрабатываем новые. Для решения более трудных задач мы применяем некоторые методы, которые реже используются в науке о данных, например, разработанный нами подход моделирования посредника или анализ прерванных временных рядов. Наконец, мы анализируем данные различных экспериментов, начиная от стандартных A/B-тестов до таких методов, которые используются, когда проводить A/B-тесты невозможно или нежелательно, например, экспериментов с рандомизированным поощрением.
В науке исследования чаще всего используются для дальнейшего развития теории, а не решения прикладных задач. Для нашей команды одна из самых важных сторон перехода от теоретических знаний к конкретной бизнес-задаче — это возможность применять прикладные исследования для улучшения пользовательского опыта.
Начав сотрудничать с командами по продукту в области науки о поведении, мы столкнулись с тем, что даже когда концепции кажутся простыми для понимания и практического использования, их бессистемное применение может привести к непредвиденным последствиям. Поэтому всегда необходимо учитывать ситуационный и индивидуальный контекст. Например, в науке о поведении есть знакомый многим феномен неприятия потерь. На первый взгляд, его суть очевидна: люди чаще предпочитают избегать потери, чем приобретать выгоды. Однако есть много ситуаций, в которых преподнесение чего-либо как потери может расстроить или разозлить пользователя, а не мотивировать его. Например, давний пользователь программы лояльности, для которого весь опыт взаимодействия с приложением основывался на получении баллов, может разозлиться, если ему сообщат, что он потеряет баллы, если не совершить покупку немедленно. Даже такие распространенные тенденции, как неприятие потерь, могут иметь непредвиденные или негативные последствия, если работать с ними без учета контекста. Независимо от того, насколько потенциально успешен ваш подход, мы рекомендуем проводить эксперименты, чтобы лучше понять и точнее предугадать результат его использования.
Кейс: Express POOL
Поскольку наука о поведении во многом ситуативна, большая часть нашей работы заключается в консультировании команд, разрабатывающих определенный продукт. Наше сотрудничество с командой Express POOL — пример того, как команда прикладной науки о поведении применяет теоретические исследования к разработке продуктов.
В начале 2018 года Uber запустил Express POOL. Как и uberPOOL, Express POOL предполагает совместную поездку и разделение расходов с пассажирами, с которыми вам по пути. В отличие от uberPOOL, uberX и других наших райдшеринг-продуктов, при использовании Express POOL вам придется чуть дольше ждать назначения подходящей машины и дойти пешком до указанного места посадки. Такие изменения позволяют создавать более прямые и эффективные маршруты, что, в свою очередь, делает поездку более доступной.
Пассажиры привыкли, что машина быстро приезжает именно туда, где они находятся, поэтому при разработке продукта особое внимание уделялось тому, как пользователи взаимодействуют с новым продуктом. Стало ясно, что многие аспекты нуждаются в доработке: клиенты отменяли поездки в промежутке между запросом и подбором подходящего варианта. Пассажирам приходилось ждать дольше, и отмены происходили гораздо чаще, чем при использовании других продуктов.
Обычно мы начинаем процесс консультирования со встречи с командой, работающей над продуктом, чтобы понять возникшую проблему. В эту команду входят менеджер по продукту, менеджер по маркетингу, исследователь пользовательского опыта, инженер и специалист по данным о продукте. Мы рассматриваем и учитываем предварительные исследования команды, такие как результаты юзабилити-тестов. В случае с Express Pool, подключившись к проекту, мы узнали подробности, описанные выше.
Изучив контекст и поняв общую проблему, мы провели обзор специальной литературы с углубленным анализом имеющихся данных науки о поведении, чтобы определить методику решения данной задачи. Так, глубоко погружаясь в контекст, мы трансформируем наши знания в реальные сценарии изменений для команд по продукту и рекомендуем способы проверки этих наработок.
В этом случае мы стали изучать литературу по науке о поведении, чтобы узнать больше о том, как люди воспринимают время и ожидание. Мы выделили три концепции, которые важны для осмысления времени ожидания: неприятие бездействия, прозрачность действий и эффект градиента цели. Концепция неприятия бездействия очевидна: люди боятся бездействия и хотят быть постоянно заняты. Мы также установили, что прозрачность действий или раскрытие для пользователей того, что происходит с их запросом в каждый конкретный момент, повышает потребительскую оценку продукта. Наконец, эффект градиента цели характеризуется возрастанием мотивации и большими усилиями, которые люди готовы прилагать, когда чувствуют, что приближаются к своей цели.
Учитывая это, мы рекомендовали показывать прогресс во время ожидания, отражая каждый шаг в работе приложения, например, указывать подобранных попутчиков и уведомлять клиента о том, какая машина найдена.
Дополнительную информацию, например пояснение принципа расчета времени прибытия, можно получить, кликнув на значок информации. Команда Express POOL проверила эти идеи с помощью A/B-тестирования и зафиксировала снижение количества отмен после вызова машины на 11%.
Рис. 1. Тестовый дизайн пользовательского интерфейса Express POOL показывает детальные шаги и использует иконки для получения дополнительной информации о статусе заказа.
Как описано в этом примере, после подробного исследования особенностей поведения человека, мы разработали приоритетные идеи, основываясь на предположениях о потенциальном воздействии и возможных рисках. Для проверки предложенных нами идей мы организовали и провели эксперименты, а затем проанализировали полученные данные. Весь процесс нашего исследовательского проекта, воплощенный в нашей работе над Express POOL, изображен на рисунке 2:
Рисунок 2. Обычно наш рабочий процесс начинается с постановки задачи и заканчивается проведением экспериментов.
1. Определение проблемы
Получить информацию о проблеме от команд-партнеров.
2. Глубинный анализ и погружение в науку о поведении
Сформулировать проблему в релевантных терминах из области науки о поведении.
3. Формулирование идеи на основе имеющихся научных знаний
Предложить конкретную идею для продукта на основании результатов научного исследования.
4. Расстановка приоритетов
Совместно с другими командами приоритизировать идеи, учитывая предполагаемые экономические результаты и возможные риски.
5. Экспериментирование
Провести эксперименты, чтобы протестировать идеи (разработать варианты эксперимента, определить целевую аудиторию, проанализировать полученные данные и т. д.).
Применение науки о поведении помогает повысить ценность продукта
Наша работа над Express POOL демонстрирует уникальную ценность, которую наши исследования в области поведенческих особенностей человека, подкрепленные десятилетиями научных экспериментов в этой области, представляют для продукта в перспективе. Вооружившись этой информацией, мы работаем вместе с UX-исследователями и продуктовыми аналитиками, которые используют свои навыки для решения проблем, отличных от тех, которые исследуем мы. Например, во время нашего эксперимента с Express POOL продуктовые аналитики тщательно следили за метриками приложения и обнаружили возможности совершенствования показателя отмены заказа после запроса. UX-исследователи провели тестовые поездки, чтобы понять причины затруднений пассажиров и разобраться в проблеме. Как исследователи поведенческих данных, мы использовали свои знания и методологию, чтобы предложить решение проблемы, которое можно проверить эмпирически.
Мы учитываем наш специализированный набор навыков и то, как мы можем повысить ценность продукта, когда выбираем, с какими командами мы сотрудничаем и за какие проекты беремся. На глобальном уровне мы составляем приоритетный план на год, определяющийся желаемыми экономическими показателями продукта. На более детальном уровне команда разработчиков предоставляет информацию о том, в каких областях продукта имеются наиболее актуальные проблемы. Отталкиваясь от этого, мы выбираем, какие проекты и в какой последовательности мы будем выполнять вместе с другими командами. Важно отметить, что наша команда рассматривает эти направления развития с точки зрения науки о поведении, определяя, где стоит использовать наши прикладные знания и опыт количественного анализа. В некоторых случаях это может означать исключение из числа приоритетных тех экспериментов, для которых не нужна сильная теоретическая база или качественные исследования, которые не требуют наших методологических навыков. Мы достигаем серьезных результатов, всегда стремясь оказывать максимальное влияние как на бизнес, так и на степень релевантности применения науки о поведении.
Ключевые выводы
В перспективе, по мере того как Uber осваивает новые возможности развития и совершенствует существующие продукты, мы ожидаем, что у нашей команды будет много возможностей использовать науку о поведении, чтобы предложить нашим пользователям наилучший сервис. В 2019 году мы продолжим сотрудничать с другими командами по инновационным и высокоэффективным проектам, а также будем инвестировать в масштабирование наших знаний, чтобы сделать науку о поведении более доступной. Мы рады продолжать активно применять наши теоретические и методологические знания и повышать эффективность функций, программ и платформ, создаваемых в нашей компании.
Комментарий от Глеба Сологуба, директора по аналитике Skyeng
У нас в Skyeng методы науки о поведении принимаются во внимание и используются при подготовке экспериментов и A/B-тестов на различных лендингах, в разработке наших мобильных приложений и веб-платформы для проведения уроков.
Так, например, путем A/B-тестов мы недавно выяснили, как эффекты прайминга влияют на выбор пакета уроков нашими учениками и принятие ими решения о покупке в зависимости от расположения вариантов на странице оплаты. Понимание механизмов мотивации помогает нам подбирать наилучшие мотивационные схемы для преподавателей и менеджеров продаж. А знания в области методологии обучения мы воплощаем в специальных интерфейсах, позволяющих повысить эффективность работы преподавателя.
Думаю, в мире не так уже много компаний, которые могут себе позволить держать в штате отдельную команду поведенческих аналитиков. Мы в Skyeng стараемся обучать имеющихся исследователей, чтобы они постоянно расширяли свой арсенал методов и умели выбирать нужные под конкретную задачу. И, кстати, наша аналитическая команда растет — есть интересные вакансии!
Photo by meo from Pexels
Автор: Skyeng-Habr
