Нужно сравнить вероятности успеха в двух биномиальных распределениях, имея некоторую выборку испытаний для обоих вариантов. Назовем вариант у которого больше выборочное среднее вариантом А, второй вариантом Б.
Строим доверительные интервалы для обоих вариантов. Подбираем альфу (доверительную вероятность) так, чтобы нижняя граница доверительного интервала варианта А была строго больше верхней границы варианта Б. Получаем два независимых события с вероятность альфа. Если они оба наступают, то вероятность того, что А>Б 100%. Следовательно вероятность А>Б не меньше альфы в квадрате.
И получаем что вероятность того, что вариант А лучше варианта Б, больше либо равно альфе в квадрате. Когда выборочные средние не равны и число успехов больше нуля в обоих случаях, то мы получаем что альфа ненулевое. Т.е. вероятность строго больше нуля. Однако, мы не знаем как распределяется вероятность успеха среди вариантов. И мы можем подобрать такое распределение, что вероятность А>Б равна нулю.
Допустим вероятность успеха вариантов распределяется так: шанс что выпадет 0.5 = 1, все остальные значения равны = 0. Следовательно вероятности успеха в А и Б всегда равны, т.е. вероятность того, что А>Б (строго больше) равна 0. Однако мы оценили эту вероятность как строго большую нуля.
В чем моя ошибка? Вероятнее всего, что доверительные интервалы применять нельзя, но почему?
Автор: Hkey
