Рубрика «АБ-тесты»

Привет! Я Андрей Корнеев, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда.

Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов.

Читать полностью »

Всем привет! На связи команда ad-hoc аналитики X5 Tech. Если вы уже знакомы с нашими статьями, то наверняка знаете, что нашей ключевой темой является А/Б тестирование. Важной составляющей А/Б теста является дизайн: для успешного проведения эксперимента необходимо оценить размер тестовой и контрольной групп, зафиксировав предварительно ожидаемый эффект. Но возникает вопрос: как убедиться в обоснованности гипотезы и рассчитать ожидаемые эффекты от инициативы?

Читать полностью »

Задача снижения дисперсии при проведении A/B экспериментов, кажется, никогда не перестанет быть актуальной. Хочу поделиться небольшим разбором свежей статьи, в которой авторы предлагают еще один довольно-таки провокационный метод для снижения дисперсии.

  • Можем ли мы использовать для снижения дисперсии данные во время эксперимента?

  • Может ли метод быть сильно лучше CUPAC и что значит «лучше»?

  • При применении методов снижения дисперсии мне приходится сталкиваться с проблемой большого количества пропущенных данных до эксперимента

Читать полностью »

Привет! На связи команда ad-hoc аналитики X5 Tech.

Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). Примеров задач по оценке эффекта воздействия множество:

  1. Как изменится выручка от продаж, если изменить ассортимент товаров, предлагаемых в пространстве около кассы?

  2. Удастся ли улучшить самочувствие пациентов, если они начнут принимать новый препарат?

  3. Что произойдёт с оценками школьников, если они начнут посещать репетиторов?

Читать полностью »

Недавно YouTube подкинул мне видео «Я пообщался со 100 людьми, сдавшими ЕГЭ на 100, и вот что понял» — автор поговорил со ста выпускниками, сдавшими экзамен на высший балл, и обобщил их опыт. Многие советы из видео можно распространить не только на подготовку к экзамену, но и на подготовку к собеседованию или «вхождение в IT» — так что ролик будет интересен и тем, кто давно окончил школу.

Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных»Читать полностью »

Привет! На связи команда аналитиков “Пятёрочки” X5 Tech.

Подсчитать и проанализировать можно не только A/B, но также подвергнуть анализу ряд тестов с общей нулевой гипотезой. Другими словами, протестировать результаты серии тестов с классическим статистическим выводом о значимости показателей этой серии, то есть провести мета-анализ. 

На написание этой статьи меня вдохновило общение внутри моей классной команды, общение с одним из аналитиком Gett, а также данный пост и комментарии к нему по поводу статьи EbayЧитать полностью »

Всем привет! Меня зовут Илья Черников, я аналитик больших данных в X5 Tech, сейчас занимаюсь аналитикой и оценкой активностей CVM маркетинга экспресс-доставки “Пятёрочки”.

В статье я расскажу о том, как мы решали вопрос автоматизации оценки эффективности большого количества маркетинговых кампаний с помощью бутстрапа в PySpark. Я опишу различные подходы к реализации бутстрапа с их плюсами и минусами, а также расскажу об итоговом варианте, который мы выбрали для себя.

Небольшой сэмпл данных и тетрадки с примерами запусков описанных ниже вариантов реализации можно увидеть в Читать полностью »

Проектируем А-Б-эксперименты грамотно - 1

Проектирование A/B-экспериментов может быть сложным процессом, особенно для тех, кто только начинает работать с аналитикой и тестированием в мобильных приложениях. Нередко возникают проблемы с формулировкой гипотез, выбором метрик и определением оптимального распределения аудитории.

Читать полностью »

Хай!

Пишу эту статью для тех, кто уже знаком с CUPED, но ищет больше понимания этого метода и взгляда на него с другой стороны. Здесь я не буду детально объяснять базовый алгоритм CUPED аб-тестирования: про это уже достаточно материала в сети. Основное внимание уделим рассмотрению метода через призму регрессий. Цель статьи - познакомить читателя с теоремой, безумно полезной для понимания работы регрессий, а главное - продемонстрировать, как с помощью этой теоремы проводить CUPED тесты не в три последовательных шага (как в базовом алгоритме), а с помощью одной регрессии.

Содержание:

Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). Мы строим скоринговые (credit scoring), лидогенерационные (lead generation) и антифрод (anti-fraud) модели на телеком данных, а также делаем гео-аналитику (geo-analytics).

В предыдущей статье я поделился материалами для подготовки к дизайну систем машинного обучения.

Давайте вспомним из каких секций состоит процесс собеседований на позицию Data Scientist:


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js