Главная

Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса

2019-11-03 в 20:05, admin, рубрики: вероятность, искусственный интеллект, конспект, математика, машинное обучение, нейросети, теория вероятностей, условная вероятность, формула Байеса

Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса - 1

Теория вероятностей. Формула Байеса

Пусть проводится некоторый эксперимент.

$w_1, ..., w_N$ — элементарные события (элементарные исходы эксперимента).
$Omega={w_i}_{i=1}^N$ — пространство элементарных событий (совокупность всевозможных элементарных исходов эксперимента).

Определение 1:

Система множеств $Sigma$ называется сигма-алгеброй, если выполняются следующие свойства:

$A_1, A_2, ... in Sigma Rightarrow bigcuplimits_{i=1}^infty A_i in Sigma.$

Из свойств 1 и 2 определения 1 следует, что $emptyset in Sigma$ . Из свойств 2 и 3 определения 1 следует, что $bigcaplimits_{i=1}^infty A_i in Sigmaspace($ т.к. $A_i in Sigma Rightarrow_{св.2} overline{A_i} in Sigma Rightarrow_{св.3} bigcuplimits_{i=1}^infty overline{A_i} in Sigma Rightarrow_{св.2} \ Rightarrow_{св.2} overline{bigcuplimits_{i=1}^infty overline{A_i}} in Sigma Rightarrow bigcaplimits_{i=1}^infty A_i in Sigma).$

Определение 2:

— событие
— вероятностная мера (вероятность), если:
3. ${A_i}_{i=1}^infty, space A_i in Sigma, space A_i cap A_j=emptyset$ при $i not=j Rightarrow P(bigcuplimits_{i=1}^infty A_i)=sumlimits_{i=1}^infty P(A_i).$

Свойства вероятности:

$forall {A_i}_{i=1}^N \ spacespace P(bigcuplimits_{i=1}^N A_i)=sumlimits_{i=1}^NP(A_i)-sumlimits_{i < j} P(A_i cap A_j) + sumlimits_{i < j < k}P(A_i cap A_j cap A_k)-... +\+ (-1)^{n-1}P(A_1 cap A_2 cap ... cap A_n);$
$forall {A_i}_{i=1}^inftycolon( A_{i+1} subseteq A_i,space bigcaplimits_{i=1}^infty A_i=emptyset) spacespacespace limlimits_{i to infty}P(A_i)=0.$

Определение 3:

$(Omega, Sigma, P)$ — вероятностное пространство.

Определение 4:

$forall A,B in Sigma: P(B) > 0 $
$qquad P(A|B)=frac{P(AB)}{P(B)}$ — условная вероятность события $A$ при условии события $B$ .

Определение 5:

Пусть для ${A_i}_{i=1}^N$ , где $forall i in overline{1,N} A_i in Sigma$ , выполняется $forall i,j in overline {1,N} space A_i cap A_j=emptyset$ и $bigcuplimits_{i=1}^N A_i=Omega$ . Тогда ${A_i}_{i=1}^N$ называется разбиением пространства элементарных событий.

Теорема 1 (формула полной вероятности):

${A_i}_{i=1}^N$ — разбиение пространства элементарных событий, $forall i in overline{1,N} space P(A_i) > 0$ .
Тогда $forall B in Sigma quad P(B)=sumlimits_{i=1}^NP(B|A_i)P(A_i)$ .

Теорема 2 (формула Байеса):

${A_i}_{i=1}^N$ — разбиение пространства элементарных событий, $forall i in overline{1,N} space P(A_i) > 0$ .

Тогда $forall B in Sigmacolon P(B) > 0 quad P(A_i|B)=frac{P(B|A_i)P(A_i)}{sumlimits_{i=1}^N P(B|A_i)P(A_i)}=frac{P(B|A_i)P(A_i)}{P(B)}$ .

С помощью формулы Байеса можно переоценить априорные вероятности ( $P(A_i)$ ), исходя из наблюдений ( $P(B|A_i)$ ), и получить совершенно новое представление о реальности.

Пример:

Предположим, что имеется тест, который применяется к человеку индивидуально и определяет: заражён он вирусом «X» или нет? Будем считать, что тест завершился успехом, если он вынес правильный вердикт для конкретного человека. Известно, что этот тест имеет вероятность успеха 0.95, а 0.05 — это вероятность как ошибки первого рода (false positive, т.е. тест вынес положительный вердикт, а человек здоров), так и ошибки второго рода (false negative, т.е. тест вынес отрицательный вердикт, а человек болен). Для ясности, положительный вердикт = тест «сказал», что человек заражён вирусом. Также, известно, что данным вирусом заражён 1% населения. Пусть некоторый человек получил положительный вердикт теста. С какой вероятностью он действительно болен?

Обозначим: $t$ — результат теста, $d$ — наличие вируса. Тогда по формуле полной вероятности:

$P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0).$

По теореме Байеса:

$P(d=1|t=1)=frac{P(t=1|d=1)P(d=1)}{P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)}=\=frac{0.95times0.01}{0.95times0.01+0.05times0.99}=0.16$

Получается, что вероятность оказаться заражённым вирусом «X» при условии положительного вердикта теста равна 0.16. Почему такой результат? Изначально, человек с вероятностью 0.01 заражён вирусом «X» и еще с вероятностью 0.05 тест ошибётся.

Список используемой литературы:

«Основы теории вероятностей. Учебное пособие», М.Е. Жуковский, И.В. Родионов, МФТИ, МОСКВА, 2015;
«Глубокое обучение. Погружение в мир нейронных сетей», С. Никуленко, А. Кадурин, Е. Архангельская, ПИТЕР, 2018.

Автор: slava_py

Источник