Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных.
В первой части «Читать полностью »
Рубрика «ab testing»
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 2: Анализ и интерпретация результатов A-B-тестов
2025-04-21 в 15:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментОффлайн А-Б тесты в ресторанах фастфуда. Часть 1: Планирование и верификация оффлайн A-B-тестов
2025-04-21 в 11:25, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, эксперимент"Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных."
Мифы о байесовском А-Б тестировании
2025-04-11 в 12:23, admin, рубрики: ab testing, ab-тестирование, bayesian, data science, анализ данных, аналитика, байесовский подход, проверка гипотез, статистикаСегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.
Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.
Постановка задачи
Распили её правильно. А-В разрез генеральной совокупности
2025-02-04 в 12:03, admin, рубрики: ab testing, data mining, data science, гадание, предсказания, статистика, теория вероятностейВ написании этой статьи ни один ИИ не пострадал участвовал.
Весь текст написан с помощью мощного естественного интеллекта автора
В настоящее время А/В тестирование приобрело всеобъемлющий и неоспоримый формат исследования своих действий в предложении товаров и услуг, да и любого исследования человеческих сообществ.
И главное, что всё просто - берете исследуемое множество, выделяете часть и исследуете эту часть. В надежде, что свойства этой части такие же, как и у всего сообщества.
Causal Inference методы на практике
2024-12-30 в 11:06, admin, рубрики: ab testing, causal effect, causal Inference, causalimpact, double machine learning, doubly robust, propensity score matching, PSM, статистикаОбычно, когда возникает необходимость оценить эффект от продуктовой фичи, аналитики проверяют гипотезы через A/B эксперименты. Но иногда запустить эксперимент нет возможности, а оценить эффект все еще хочется. Столкнувшись в очередной раз с такой ситуацией, я решил погрузиться в нашумевший в последнее время мир причинно-следственного анализа или Causal Inference и поделиться опытом применения различных подходов на практике.
Случалось ли с вами что-нибудь из этого?
-
Какая-то фича в продукте существует давно, на нее тратятся ресурсы, но вы не знаете какой эффект она оказывает на ключевые метрики?
Расширенный CUPAC для снижения дисперсии в A-B экспериментах
2024-12-26 в 12:12, admin, рубрики: ab testing, cuped, АБ-тесты, дисперсияЗадача снижения дисперсии при проведении A/B экспериментов, кажется, никогда не перестанет быть актуальной. Хочу поделиться небольшим разбором свежей статьи, в которой авторы предлагают еще один довольно-таки провокационный метод для снижения дисперсии.
-
Можем ли мы использовать для снижения дисперсии данные во время эксперимента?
-
Может ли метод быть сильно лучше CUPAC и что значит «лучше»?
-
При применении методов снижения дисперсии мне приходится сталкиваться с проблемой большого количества пропущенных данных до эксперимента
Проектируем А-Б-эксперименты грамотно
2024-09-30 в 13:02, admin, рубрики: ab testing, product management, АБ-тесты, метрики
Проектирование A/B-экспериментов может быть сложным процессом, особенно для тех, кто только начинает работать с аналитикой и тестированием в мобильных приложениях. Нередко возникают проблемы с формулировкой гипотез, выбором метрик и определением оптимального распределения аудитории.
FrontFest.Mix — 7 тем о кодстайле, WebGL, A-B, RON, шаблонизации, экосистеме JavaScript и жизни программиста
2017-10-04 в 7:11, admin, рубрики: ab testing, codestyle, css, frontfest, html, javascript, ron, WebGL, Блог компании 2ГИС, шаблонизация
Можно не знать о модных технологиях, не думать о доступности сайтов, забивать на развитие экосистемы, но, кажется, через год-другой с таким подходом можно стать таксистом-программистом. Нам эта история не близка, поэтому на конференции FrontFest, кроме понятных всем потоков VYORSTKA и JS, мы заложили в программу поток MIX. Как ясно из названия, он для докладов, которые не вписываются в первые два потока — это выступления о кодстайле, производительности фронтенда, форматах данных, экосистеме JavaScript и развитии фронтендера как разработчика.
Читать полностью »
Как оценить качество системы A-B-тестирования
2017-03-23 в 6:21, admin, рубрики: ab testing, split testing, Блог компании HeadHunter, Программирование, Разработка веб-сайтов, статистика, Тестирование IT-систем, Тестирование веб-сервисов
Вот уже более полугода в компании используется единая система для проведения A/B-экспериментов. Одной из самых важных частей этой системы является процедура проверки качества, которая помогает нам понять, насколько мы можем доверять результатам A/B-тестов. В этой статье мы подробно опишем принцип работы процедуры проверки качества в расчете на тех читателей, которые захотят проверить свою систему A/B-тестирования. Поэтому в статье много технических деталей.
Читать полностью »