В продуктовой аналитике легко дойти до состояния, когда экспериментов много, а уверенности в решениях мало.
Типовые симптомы:
тест идет «пока не станет понятно»;
MDE забывают зафиксировать (или берут «как обычно»);
p-value проверяют каждый день и закрывают эксперимент на первом же p < 0.05;
ARPU и другие денежные метрики шумят так, что любой вывод спорный;
после релиза эффект не подтверждается, в следствие чего доверие к экспериментам падает.
Всем привет!
Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента.
Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи :-)
Что именно распределяет t-распределение? Что за метрику мы видим на графике?
Как Центральная предельная теорема помогает нам использовать t-распределение?
Что такое критическое значение?
В чем разница между одновыборочным и двухвыборочным тестом?
Приветствуем всех читателей! Сегодня мы, Никита и Маша из команды Ad-Hoc аналитики X5 Tech, расскажем о проблеме несогласованности оценок эффектов в A/B-тестировании и Causal Inference и предложим эффективный способ ее решения.
Привет! Я, Ева, руководитель продуктовой аналитики в М2, отвечаю за внедрение экспериментов и A/B-тестирования в компании. М2 — это онлайн-платформа для решения вопросов с недвижимостью. Сервисами М2 пользуются как частные лица, так и профессиональные участники рынка — риелторы, застройщики, банки. Мы помогаем тысячам людей экономить время, нервы и деньги.
Недавно мы завершили этап внедрения A/B‑платформы. Этот материал для тех, кто думает, как запустить эксперименты с ограниченными ресурсами, сохраняя здравый смысл.
Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.
Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.
Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.
Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.
Привет! Я Настя — лид A/B Платформы в Wildberries. На протяжении всего карьерного пути меня интересует тема оценки эффектов. Для этого существуют различные инструменты, в числе которых как A/B‑тестирование, так и альтернативные способы, например, различные вариации Causal Inference.
В этой статье я хочу поделиться примером проведения двух квази‑экспериментов в Wildberries с использованием Синтетического контроля (Synthetic Control).
Привет! Я Андрей Корнеев, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда.
Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов.
В А/В-тестировании как правило самая трудная часть заключается в том, чтобы определить — что необходимо тестировать в первую очередь. В работе с тысячами клиентов, которые проводят AБ-тесты каждый день, мы постоянно слышим один из самых распространенных вопросов – «С чего нам начать А/В-тестирование?».
По своей сути, тестирование порождает больше вопросов, чем ответов. ваш первый тест может привести к множеству последующих анализов и итераций. На случай, если вы уже исчерпали идеи для тестов или только начинаете тестировать свой сайт, вот вам 73 идеи для проведения A/B-тестов.Читать полностью »
