Рубрика «проверка гипотез»

Всем привет!

Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента.

Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи :-)

  1. Что именно распределяет t-распределение? Что за метрику мы видим на графике?

  2. Как Центральная предельная теорема помогает нам использовать t-распределение?

  3. Что такое критическое значение?

  4. В чем разница между одновыборочным и двухвыборочным тестом?

  5. Читать полностью »

В эпоху, когда новое знание рождается быстрее, чем человек способен его осмыслить, привычная модель познания перестаёт работать. Мы уже просто не успеваем изучать новое последовательно, шаг за шагом. Каждый день приходится принимать решения, не имея времени на проверку фактов и их взаимосвязей. Понимание сместилось: вместо анализа - согласие, вместо доказательств - внутренняя сонастройка.

Читать полностью »

0. Введение

Прошла статья ( Михаил Елисейкин «Революция вайб-кодинга отменяется» - https://habr.com/ru/articles/938440/ ) взорвала чарты и вышла в топы Хабра, а такое часто сопровождается бурным обсуждением, с уходом в оффтопик. И вот там в обсуждении выплыла тема «ноль чётное число или нет?», в которой ответ на вопрос не особо то и нужен, но вот сама тема, является отличной иллюстрацией проблем «верификационизма», как парадигмы научного познания.

Читать полностью »

Привет!

Внутренние продукты умирают чаще, чем живут. Причём гибнут не на проде, не из‑за кривого кода и не от того, что разработка пошла не по плану. Они разваливаются на самом старте — когда гипотеза ещё не успела обрести форму, но уже обросла Jira‑задачами. Где‑то я видел, что 9 из 10 новых инициатив не переживают первую встречу с пользователем. Почему? Потому что команды бегут в реализацию, не удостоверившись: а надо ли это вообще кому‑нибудь?

Читать полностью »

Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.

Проблема подглядывания

Читать полностью »

Если хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.

Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом - 1

Читать полностью »

Делали ли вы работу в стол? Вопрос риторический…

Но больше, чем остальным это грустное чувство “проекта в стол” знакомо тем, кто занимается разработкой и внедрением ИИ решений: по статистике за 2024 год из них доходят до продакшена только от 15 до 30%

И большинство неудач здесь не из-за плохих моделей или технической сложности, а из-за несогласованных бизнес-потребностей.

Наши партнеры из Яндекса на CTO Conf-2025 презентовали новый фреймворк – CRISP-DM Light  – он призван исправить эту ситуацию.

Читать полностью »

Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных.

Оффлайн А-Б тесты в ресторанах фастфуда. Часть 2: Анализ и интерпретация результатов A-B-тестов - 1

В первой части «Читать полностью »

"Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных."

Оффлайн А-Б тесты в ресторанах фастфуда. Часть 1: Планирование и верификация оффлайн A-B-тестов - 1

Читать полностью »

Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.

Постановка задачи

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js