ML: Теорія ймовірностей

Вступ

У задачах машинного навчання і штучного інтелекту важливу роль відіграють імовірнісні міркування. Наприклад, баєсівські методи застосовуються при вирішенні задач класифікації і прийнятті рішень. Марковські моделі широко використовуються для обробки природної мови. Нарешті, таке поняття як крос-ентропія лежить в основі найпопулярнішої функції похибки при роботі з нейронними мережами.

Цей документ присвячений неформальному введенню в теорію ймовірностей і починає серію матеріалів, присвячених імовірнісному підходу в машинному навчанні і штучному інтелекті.

Спільна і умовна ймовірності

Нехай проведено $N$ незалежних спостережень ( = випробувань), у яких подія $A$ настала $N(A)$ разів і $N-N(A)$ разів не настала. Емпіричною ймовірністю $P(A)$ події $A$ називають частоту її появи: $$ P(A) = \frac{N(A)}{N}. $$ Якщо в спостереженні можуть відбутися дві події $A$, $B$, то спільною ймовірністю настання, і $A$, і $B$ називають відношення числа спостережень, коли події відбуваються одночасно $N(A,\,B)$ до загального числа спостережень $N$: $$ P(A\,\&\,B) \equiv P(A,\,B) = \frac{N(A,\,B)}{N}. $$

Нехай нас цікавить ймовірність настання події $A$, якщо в цьому ж спостереженні відбувається подія $B$.
Для цього необхідно підрахувати число $N(A,\, B)$ випадків серед $N(B)$ спостережень, коли відбулося $B$.
Їхнє відношення називається умовною ймовірністю: $$ P(B\to A) ~=~ \frac{N(A,\,B)}{N(B)} ~=~ \frac{P(A\,\&\,B)}{P(B)}. $$ Зазвичай умовну ймовірність позначають як $P(A\mid B)$, однак для наших цілей буде зручнішим введене вище позначення (воно особливо природне в імовірнісній логіці і баєсівських мережах).

Умовна ймовірність відіграє важливу роль для характеристики ступеня "скорельованості" подій $A$ і $B$. Якщо завжди, коли відбувається $B$, відбувається і $A$, то $P(B\to A)=1$. Якщо ж при настанні $B$, подія $A$ ніколи не відбувається, то $P(B\to A)=0$. Подія $A$ вважається незалежною від $B$, коли умовна ймовірність збігається зі звичайною: $P(B\to A)=P(A)$. Варто перевірити, що, якщо $P(A)\neq P(B)$, то і $P(B\to A) \neq P(A\to B)$.

◊ На стіл кидають гральну кістку (це спостереження) і отримують одне з шести чисел $\{1,2,3,4,5,6\}$. Подія $A:$ "випало 1". Подія $B:$ "випало непарне число": $\{1,3,5\}$ (одне з цих чисел): $$ P(A) = \frac{1}{6},~~~~~~~~P(B) = \frac{1}{2},~~~~~~~~P(A\,\&\,B) = \frac{1}{6}, ~~~~~~~P(B\to A) = \frac{1}{3},~~~~~~~P(A\to B) = 1. $$ Ймовірності записані у припущенні, що кубик чесний (симетричний) і всі шість чисел випадають з однаковою частотою $1/6$. Це означає, що при великому числі спостережень $N$ кожна цифра на кубику випаде приблизно рівне число разів $N/6$. Подія $A\,\&\,B$ виникає тільки, коли випадає $\{1\}$ і, наприклад, $P(B\to A)$ за визначенням дорівнює $P(A\,\&\,B)/P(B)=(N/6)/(N/2) = 1/3$.

☝ Вимога незалежності випробувань означає, що результати даного випробування не залежать від результатів попередніх. Кажуть, що випробування повинні проводитися в однакових (але не тотожних!) умовах. Наприклад, для отримання $P(A)=1/6$, де $A:$ "на кубику випала одиниця", "чесний кубик" необхідно також кидати "чесно", тобто проводити випадковий експеримент.
При цьому виникає порочне коло у визначенні випадкового характеру кожного випробування і випадковий експеримент є лише математичною моделлю фізичної реальності.

☝ Випробування не обов'язково складається з однієї дії. Наприклад, нехай п'ять разів підкидають монету у якої на одній стороні написано $0$, а на другій $1$. Одним випробуванням буде послідовність типу $01001$. Загалом можливо $2^5 = 32$ результатів випробувань. Якщо монета "чесна" (симетрична) і "чесний" спосіб її підкидання, то всі послідовності рівноймовірні. Зокрема $00000$ буде виникати з такою ж частотою ($P=1/32$), як і, наприклад, $10101$. Хоча подія $A$: "число нулів у послідовності дорівнює $3$ або $2$", відбуватиметься у $20$ разів частіше, ніж подія $B$: "випадає $00000$". При цьому $A$ і $B$ несумісні події, тобто вони ніколи не відбуваються одночасно: $P(A\,\&\,B) = 0$. Варто виписати всі $32$ комбінації і порахувати число тих з них, які сприятливі події $A$.

Інший приклад - монета підкидається доти, доки не зрівняються число нулів і одиниць. У цьому випадку результатами випробувань будуть послідовності змінної довжини типу $01$ або $001011$, але не $0101$.

☝ Важливо пам'ятати, що спільність подій $A\,\&\,B$ не означає їхньої одночасності. Наприклад, нехай на стіл $N$ разів кидають два гральних кубики різного кольору і подія $A$ означає випадіння шістки на зеленому кубику і подія $B$: одиниці на синьому. Ймовірність $P(A\,\&\,B)=1/36$ не залежить від того, кидають кубики одночасно чи по черзі (вважаючи при цьому одним спостереженням знаходження на столі обох кубиків після кидка/кидків).

Аналогічно умовна ймовірність $P(B\to A)$ не передбачає, що подія $B$ відбувається раніше події $A$. Вище подією $B$ може бути випадіння 1-ці на другому кинутому кубику, а подія $A$ - 6-ки на першому кубику.

☝ Слова "емпірична ймовірність" означають, що відношення $N(A)/N$ є лише оцінкою "справжньої" ймовірності. Ця оцінка тим краща, чим більше $N$. Нехай "справжня" ймовірність (за "нескінченним" числом спостережень) дорівнює $p_A$. Тоді дисперсія емпіричної ймовірності за $N$ спостереженнями дорівнює $p_A\,(1-p_A)/N$ і похибка у вимірюванні ймовірності зі зростанням $N$ спадає достатньо повільно: $$ P(A) ~=~ \frac{N(A)}{N} ~\pm~ \sqrt{\frac{p_A\,(1-p_A)}{N}}. $$

"Справжня" (математична) ймовірність $p_A$ є абстракцією, що передбачає, що кожна подія має таку числову характеристику. Однак у макросвіті - це "сферичний кінь у вакуумі". З натяжкою вони існують для симетричних процесів (монета, рулетка). Хоча на практиці стаціонарність (незмінність у часі) емпіричних ймовірностей виконується достатньо рідко. Варто, наприклад, згадати успіхи Смока Беллью в "Оленячому Розі" при грі в рулетку.

"Строга математика" частотному визначенню ймовірності віддає перевагу аксіоматичному визначенню, у якому ймовірності елементарних подій задаються, а потім вже з усією строгістю обчислюються ймовірності складених подій. У реальному ж світі необхідно дотримуватися балансу між строгістю і практичністю.

Ймовірності, логіка і теорія множин

Багато співвідношень теорії ймовірностей легко виводяться за допомогою геометричних міркувань. Уявімо всі проведені випробування однаковими квадратиками всередині квадрата одиничної площі, який назвемо простором випробувань. Позначимо випробування, у яких відбувалася подія $A$, як заштриховану область $A$ (нижче перший малюнок). Випробування, що не потрапили в цю область, відповідають події, коли "$A$ не було" або "не $A$". Їх будемо позначати в логічній нотації як $\neg A$ або рискою зверху: $\bar{A}$. Зрозуміло, що ймовірність (площа) "не $A$" дорівнює $P(\bar{A}) = 1 - P(A)$. Зазначимо, що зворотне невірно: з $P(B)=1-P(A)$ не випливає, що $B=\bar{A}$ (побудуйте спростовуючу картинку).

Якщо у випробуванні відбувається або $A$, або $B$, або обидві події, то ймовірність $P(A\vee B)$ або $P(A\cup B)$ дорівнює зафарбованій області, що об'єднує обидві події (другий малюнок). Логічна нотація $A\vee B$ і теоретико-множинна $A \cup B$ еквівалентні. У першому випадку ми підкреслюємо, що твердження про настання подій формується за допомогою логічного сполучника АБО. У другому - що множини випробувань, у яких відбулися ці події об'єднуються. Частіше ми будемо використовувати логічні позначення.

Настання двох подій $A$ і $B$ в одному випробуванні відповідає зафарбованій області на третьому малюнку. Це перетин подій $A \cap B$. Площа такої області дорівнює спільній ймовірності $P(A\,\&\,B)$, або просто $P(A,\,B)$. Третій малюнок ілюструє також визначення умовної ймовірності $P(B\to A)=P(A\,\&\,B)/P(B)$. Якщо відомо, що відбулася подія $B$, то весь простір випробувань "стискається" до області $B$ і для події $A$ необхідно підраховувати тільки ті випробування, які потрапили в $B$.

Співвідношення між ймовірностями

✒ Знайдемо ймовірність об'єднання двох подій (логічне АБО). Площа $P(A\vee B)$ дорівнює сумі площ $P(A)$, $P(B)$, мінус площа їхнього перетину $P(A\,\&\,B)$, яку при складанні областей пораховано двічі: $$ P(A\vee B) = P(A) + P(B) - P(A\,\&\,B). $$

Підставивши замість $B$ заперечення $\bar{A}$, отримуємо $P(\bar{A}) = 1 - P(A)$. При цьому $A\vee\bar{A}=\mathbb{T}$ - це весь простір випробувань (квадрат одиничної площі), а $A\,\&\,\bar{A}=\mathbb{F}$ - неможлива подія, що має нульову ймовірність.

✒ У логіці, диз'юнкція (АБО) і кон'юнкція (І) пов'язані правилом де Моргана: $$ ~~~~~~~~~~~~~~~~~~~~~~~\neg(A\vee B)=\neg A\,\&\,\neg B ~~~~~~~~\text{ або }~~~~~~~~~~~~ A\vee B=\neg( \bar{A}\,\&\,\bar{B}). $$ З нього випливає ще одне важливе співвідношення для ймовірності об'єднання подій: $$ ~~~~~~~~~~~~~~~~~~~~~~~~~P(A\vee B) = 1 - P\bigr(\bar{A}\,\&\,\bar{B}\bigr). $$ Його ілюстрація наведена на малюнку праворуч. Горизонтальна, обведена червоним пунктиром область простору випробувань - це подія $A$. Вертикальна, обведена синьою лінією область - це подія $B$. Сірим кольором заштриховано їхнє об'єднання $A\vee B$. Частина, що залишилась, не заштрихована - це заперечення $A\vee B$ і воно ж дорівнює $\bar{A}\,\&\,\bar{B}$. Цю формулу зручно використовувати для обчислення об'єднання великого числа подій: $$ P(A_1\vee ...\vee A_n) ~=~ 1 - P(\bar{A}_1\,\&\, ...\,\&\, \bar{A}_n). $$

✒ За допомогою малюнка вище неважко перевірити, що $P(A\vee B)=P(A)+P(\bar{A}\,\&\,B)$.
Узагальнення цього співвідношення називається ортогональним розкладом диз'юнкції: $$ P(A_1\vee ...\vee A_n) ~=~ P(A_1) + P(\bar{A}_1,A_2)+...+P(\bar{A}_1,...,\bar{A}_{n-1},A_n). $$ Воно доводиться за індукцією за допомогою попереднього співвідношення ($n=2$).

✒ Розглянемо множину $\{H_1,...,H_n\}$ неперетинних подій: $H_i\,\&\,H_j=\mathbb{F}\equiv\varnothing$, які називаються несумісними. Для таких подій справедливе співвідношення: $$ P(H_1\vee H_2\vee...\vee H_n) = P(H_1)+P(H_2)+...+P(H_n). $$ Нехай несумісні події покривають весь простір випробувань, проводячи його розбиття (праворуч випадок для $n=3$). У цьому випадку виконується нормувальна умова: $$ \sum_iP(H_i) = 1. $$ Крім цього, для будь-якої події $E$ справедлива формула повної ймовірності: $$ P(E) = \sum_i P(H_i \,\&\, E) = \sum_i P(H_i)\,P(H_i\to E), ~~~~~~~~~~~~~~~~~~ $$ де враховано визначення умовної ймовірності. В окремому випадку для будь-яких двох подій: $$ P(A) ~=~ P(A,\,B)+P(A,\,\bar{B}) ~=~ P(B)\,P(B\to A)\,+\,P(\bar{B})\,P(\bar{B}\to A), $$ де $B$ і $\bar{B}$ розбивають весь простір випробувань на дві неперетинні області.

✒ Наступне важливе співвідношення називається ланцюговим правилом: $$ P(A_1,A_2,...,A_n) = P(A_1)\cdot P(A_1\to A_2)\cdot P(A_1,A_2\to A_3)\cdot...\cdot P(A_1,...,A_{n-1}\to A_n). $$ Його неважко довести, підставляючи визначення $P(A_1,A_2\to A_3)=P(A_1,A_2, A_3)/P(A_1,A_2)$, і т.д.
Ланцюгове правило можна інтерпретувати так: щоб у випробуванні одночасно настали події $A_1,...,A_n$, необхідно, щоб трапилося $A_1$; якщо це відбулося, то повинно відбутися $A_2$, тобто $A_1\to A_2$ і т.д. Зрозуміло, що порядок, у якому обираються події для ланцюгового правила, може бути довільним.

✒ (*) На завершення наведемо формулу для диз'юнкції $n$ подій: $$ P(A_1\vee A_2\vee...\vee A_n) = \sum^n_{i=1} P(A_i) - \sum_{1 \le i\lt j\le n} P(A_i,A_j) + \sum_{1 \le i\lt j \lt k\le n} P(A_i,A_j,A_k) - ... +(-1)^{n+1} P(A_1,A_2,...,A_n). $$ Вона доводиться за індукцією, за допомогою співвідношення $P(A\vee B)=P(A)+P(B)-P(A,B)$ (випадок $n=2$), у якому слід покласти $A=A_1\vee...\vee A_n$ і $B=A_{n+1}$. Потім необхідно врахувати дистрибутивність диз'юнкції і кон'юнкції $(A_1\vee...\vee A_n)\,\&\,A_{n+1}=(A_1\,\&\,A_{n+1})\,\vee...\vee\, (A_n\,\&\,A_{n+1})$ і закон поглинання $A_{n+1}\,\&\,A_{n+1}=A_{n+1}$.

Трохи нерівностей *

✒ Використовуючи формулу повної ймовірності $P(A) = P(A\,\&\,B) + P(A\,\&\,\bar{B})$ і додатність ймовірностей укладаємо, що $P(A) ~\ge~ P(A\,\&\,B)$ і аналогічна нерівність для $B$. Крім цього, з $A\,\&\,B=\neg\neg(A\,\&\,B)$ або $$P(A\,\&\,B)=1-P(\neg(A\,\&\,B))=1-P(\bar{A}\vee \bar{B})= 1-P(\bar{A})-P(\bar{B})+P(\bar{A}\,\&\,\bar{B})= P(A)+P(B)-1+P(\bar{A}\,\&\,\bar{B}), $$ випливає, що $P(A\,\&\,B)$ більше, ніж $P(A)+P(B)-1$. У результаті отримуємо таке обмеження на ймовірність спільного настання двох подій (див. також ілюстрацію праворуч):

$$ \max[0,~P(A)+P(B)-1]~~~\le~~~ P(A\,\&\,B) ~~~\le~~~ \min[P(A),\,P(B)].~~~~~~~~~~~ $$

Аналогічно для діапазону ймовірності об'єднання двох подій: $$ \max[P(A),\,P(B)]~~~~~~~~\le~~~~~~ P(A\vee B) ~~~\le~~~\min[1,~P(A)+P(B)]. $$

Простір випробувань достатньо "тісний", тому якщо $P(A)$ або $P(B)$ помітно відрізняються від $1/2$ (краще обидва і в один бік), то ці нерівності дають вузькі інтервали для кон'юнкції ($\&$) і диз'юнкції ($\vee$). У різних варіантах нечіткої логіки використовуються верхні або нижні межі цих інтервалів для оцінки кон'юнкції і диз'юнкції двох нечітких висловлювань. Природно, нерівності не враховують можливий зв'язок між подіями. Так, якщо $B=\bar{A}$, то $P(A\,\&\,B)=0$ виявляється на нижній межі інтервалу, а $P(A\vee B)=1$ - на верхній.

$P(A)$$P(B)$$P(A\,\&\,B)$ $P(A\vee B)$
$0.5$ $0.9$ $[0.4,\,0.5]$$[0.9,\,1.0]$
$0.5$ $0.1$ $[0.0,\,0.1]$$[0.5,\,0.6]$
$0.3$ $0.7$ $[0.0,\,0.3]$$[0.7,\,1.0]$
$0.5$ $0.5$ $[0.0,\,0.5]$$[0.5,\,1.0]$

✒ Нехай виконується співвідношення $P(A\,\&\,B)\,=\,P(B)$. Тоді область події $B$ є підмножиною ($B\subset A$) області події $A$. У цьому випадку: $$ P(B) \le P(A) \le 1. $$ З визначення $P(B\to A)=P(A\,\&\,B)/P(B)$ випливає $P(B\to A)=1$. Це означає, що завжди, коли відбувається подія $B$, обов'язково відбудеться і подія $A$ ($B$ тягне за собою $A$).

✒ Доведемо ще одну нерівність, яка знаходить застосування в імовірнісній логіці: $$ P(A\to B)~~\le~~P(\bar{A}\vee B). $$ Записавши формулу для диз'юнкції і повної ймовірності $P(B)=P(A,B)+P(\bar{A},B)$ маємо: $$ P(\bar{A}\vee B)=P(\bar{A})+P(B)-P(\bar{A},B)=1-P(A)+P(A,B)+P(\bar{A},B)-P(\bar{A},B) = 1-P(A)\,\bigr(1-P(A\to B)\bigr). $$ Звідси випливає $1-P(\bar{A}\vee B) = P(A)\,\bigr(1-P(A\to B)\bigr)$ і оскільки $P(A)\le 1$, отримуємо необхідну нерівність.

Множина елементарних подій

Елементарною називають подію яку не можна представити як об'єднання інших подій.
У даному випробуванні завжди відбувається одна і тільки одна елементарна подія (усі вони попарно несумісні і одна з них обов'язково відбудеться). Множину елементарних подій $\{E_1,...,E_n\}$ позначають буквою $\Omega$. При цьому $P(\Omega)=1$ і $P(E_i\, \&\, E_j)=0,~i\neq j$.
Будь-яка подія $A$ є підмножиною множини елементарних подій: $A\subset \Omega$.

◊ Довільні події можуть перетинатися. Наприклад, для $\Omega=\{E_1,E_2,E_3,E_4,E_5\}$ і складених подій $A=\{E_1,E_3,E_5\}$, $B=\{E_1,E_2,E_3\}$ маємо $A\,\&\,B=\{E_1,E_3\}$. Фігурні дужки для $A\,\&\,B$ у цьому випадку позначають виключне логічне АБО (відбулося або $E_1$, або $E_3$).

Задача в теорії ймовірності повністю визначена, якщо відома множина елементарних подій і задані їхні ймовірності. Вважається, що процедура задання цих ймовірностей лежить поза теорією.

◊ Нехай у прикладі вище задані ймовірності елементарних подій $\{P_1,\,P_2,\,P_3,\,P_4,\,P_5\}$, сума яких дорівнює одиниці. Тоді $P(A)=P_1+P_3+P_5$, а $P(A\,\&\,B)=P_1+P_3$.

☝ Підкреслимо відмінність елементарних подій від довільного розбиття простору випробувань. Елементарні події так розбивають простір, щоб будь-яка подія могла бути виражена через їхнє об'єднання. Множина $\Omega$ з $|\Omega| = n$ елементами має $2^{n}$ підмножин (включно з порожньою $\varnothing$ і самою $\Omega$). Множина цих підмножин позначається як: $2^{\Omega}$. Для нумерації підмножин можна використовувати бінарні числа типу $10101$, що, для прикладу вище, означає $A=\{E_1,E_3,E_5\}$.

Набір довільних подій, у свою чергу, породжує множину елементарних подій. Нехай, наприклад, у випробуваннях можуть відбуватися тільки події $A$ і $B$. Тоді множина елементарних подій складатиметься з чотирьох елементів $\{ A\,\&\,B,~A\,\&\,\bar{B},~\bar{A}\,\&\,B,~\bar{A}\,\&\,\bar{B}\}$, де відсутність подій $\bar{A}\,\&\,\bar{B}$ у випробуванні також вважається подією. Якщо якісь із цих сполучень неможливі, то множина елементарних подій зменшується. У загальному випадку $n$ подій можуть породжувати не більше ніж $2^n$ несумісних елементарних подій.

◊ На стіл кидають (одночасно або послідовно) дві монети різного розміру. Тоді множина елементарних подій дорівнює $\Omega = \{00,\, 01,\, 10,\, 11\}$, де $0$ - "герб", а $1$ - "число" і першим йде значення, наприклад, на меншій монеті. З міркувань симетрії, для чесних монет і способу їхнього кидання, ймовірності всіх чотирьох елементарних подій дорівнюють $1/4$.

Якщо ж монети однакові і нерозрізнювані, то множина елементарних подій складається з трьох елементів: $\Omega = \{00,\, 01,\, 11\}$ (два герби, один герб і одне число, два числа). При цьому $P(00)=P(11)=1/4$ і $P(01)=1/2$, де остання ймовірність є ймовірністю об'єднання елементарних подій $01,\, 10$ для розрізнюваних монет в одну елементарну подію для нерозрізнюваних монет.

Зазначимо, що це "очевидне" міркування не було очевидним на зорі побудови теорії ймовірності. Тоді вважалося, що для однакових монет елементарні події $\{00,\, 01,\, 11\}$ повинні бути рівноймовірними ($1/3$). Насправді те, що нерозрізнювані монети "у принципі можна розрізнити" і ймовірність $P(01 \vee 10)=1/2$, а не $1/3$ - це не математичний, а фізичний (експериментальний) факт. Він справедливий у макросвіті, однак у мікросвіті це вже не так, що позначається на відмінності статистичних розподілів Бозе і Максвелла.

◊ У закритій урні знаходяться чотири білих ($w$) і одна чорна ($b$) куля. Спочатку випадково обирають одну кулю, а потім другу (кулі в урну не повертають). Одне випробування - це послідовність і можливі 4 елементарні події: $\Omega = \{ w_1w_2,\,w_1b_2,\,b_1w_2,\,b_1b_2 \}$ (спочатку біла, потім знову біла і т.д.). Їхні ймовірності дорівнюють: $$ P(w_1w_2) = \frac{4}{5}\,\frac{3}{4}=\frac{3}{5},~~~~ P(w_1b_2) = \frac{4}{5}\,\frac{1}{4}=\frac{1}{5},~~~~ P(b_1w_2) = \frac{1}{5}\,1=\frac{1}{5},~~~~ P(b_1b_2) = \frac{1}{5}\,0=0. $$ Справді, ймовірність дістати першою білу кулю дорівнює $P(w_1)=4/5$. Після цього в урні залишається 3 білих кулі і 1 чорна. Ймовірність знову дістати білу дорівнює $P(w_1\to w_2)=3/4$. За визначенням умовної ймовірності $P(w_1,w_2)=P(w_1)\,P(w_1\to w_2)$, що дає $(4/5)\cdot(3/4)$. Аналогічно для решти варіантів.

Поклавши в урну $M$ білих куль і $N-M$ чорних, варто перевірити, що завжди $P(w_1,b_2)=P(b_1,w_2)$. Так і повинно бути, тому, що "подивитися" на колір витягнутих куль можна вже в кінці (перемішавши їх).

Якщо нас цікавить тільки друга куля, то можна просумувати ймовірності елементарних подій за першою кулею: $P(w_2)=P(w_1,\,w_2)+P(b_1,\,w_2)=4/5$ = ймовірність дістати другою білу кулю. Умовна ймовірність дістати першою чорну кулю, якщо другою була біла, дорівнює $P(w_2\to b_1) = P(b_1,\,w_2)/P(w_2)=1/4$.

◊ Є дві урни. У першій урні $5$ куль, з яких $4$ білих і $1$ чорна. У другій урні $2$ білих і $2$ чорних кулі. З першої урни випадково обирають дві кулі і перекладають їх у другу урну. Яка ймовірність потім дістати з другої урни білу кулю?

Нехай $w_1b_2w$ означає, що з першої урни спочатку дістали білу кулю ($w_1$), потім чорну ($b_2$), переклали їх у другу урну, звідки після цього дістали білу кулю ($w$). Множина елементарних подій складається з восьми елементів: $\Omega=\{w_1w_2w,\,w_1b_2w,\,b_1w_2 w,\,b_1b_2 w,\,w_1w_2b,\,w_1b_2b,\,b_1w_2 b,\,b_1b_2 b\}$. Ймовірності цих подій обчислюються за допомогою ланцюгового правила: $P(x_1x_2x)=P(x_1)P(x_1\to x_2)P(x_1,x_2\to x)$. У результаті виходить: $P=\{4,\,1,\,1,\,0,\,2,\,1,\,1,\,0\}/10$. Сума (об'єднання) перших чотирьох подій сприяє діставанню в кінці білої кулі і її ймовірність дорівнює $6/10=3/5$.

◊ Відомо, що хтось виграв у лотерею один з трьох можливих призів: $W_1,W_2,W_3$. Ймовірності таких виграшів дорівнюють $P(W_i)$ і $P_0$ - ймовірність програшу. Яка ймовірність того, що було виграно третій приз?
Множина елементарних подій складається з $\{W_0,W_1,W_2,W_3\}$. Нам необхідно обчислити умовну ймовірність: $$ P(W_1\vee W_2\vee W_3 \to W_3)= \frac{P\bigr((W_1\vee W_2\vee W_3) \,\&\, W_3\bigr)}{P(W_1\vee W_2\vee W_3)}=\frac{P(W_3)}{P(W_1)+P(W_2)+P(W_3)}. $$ Оскільки елементарні події несумісні, вище враховано, що $W_1\,\&\,W_3=W_2\,\&\,W_3=\varnothing$ і $W_3\,\&\,W_3=W_3$.

Таблиці ймовірностей

Назву події позначимо великою буквою $A$, а малими буквами $a,\bar{a}$ - її два можливих "значення": $A=a$ - подія відбулася і $A=\bar{a}$ - не відбулася. Тоді ймовірності $P(a)$ і $P(\bar{a})=1-P(a)$ будуть числами, а $P(A)$ - вектором з компонентами $\{P(a),P(\bar{a})\}$ або функцією, у яку треба підставити $a$ або $\bar{a}$.

Нехай, у загальному випадку, нас цікавлять $n$ подій $\{X_1,...,X_n\}$. Тоді $2^n$ ймовірностей $P(X_1,...,X_n)$, де $X_i = x_i$ (подія відбувається) або $X_i = \bar{x}_i$ (подія не відбувається) повністю визначають задачу. Кожна така ймовірність характеризує елементарну подію. Знаючи ці числа, можна відповісти на будь-яке питання. Наприклад, ймовірність $P(X_1,X_2)$ дорівнює сумі $P(X_1,...,X_n)$ за можливими "значеннями" подій $X_3,...,X_n$ і т.д.

$s$ $\bar{s}$ Tot
$b$ 8 2 10
$\bar{b}$ 32 58 90
Tot 40 60 100
Множину елементарних подій можна представляти у вигляді таблиці. Розглянемо всесвіт у якому живе 100 людей. Вони бувають блондинками $B$ і розумними людьми $S$. Нехай є 10 блондинок ($b$); 8 блондинок розумні ($b,s$), а 2 - не дуже ($b,\bar{s}$). З решти людей: 32 розумних, а 58 - не дуже. Цифри блакитного кольору, з точністю до нормування, характеризують ймовірності $P=\{0.08,\,0.02,\,0.32,\,0.58\}$ чотирьох елементарних подій $\Omega = \{~(b,s),\, (b,\bar{s}),\, (\bar{b},s),\, (\bar{b},\bar{s})~\}$. Використовуючи цю таблицю, неважко обчислювати різні ймовірності. Наприклад, якщо у цьому всесвіті ми зустрінемо блондинку, то вона виявиться розумною з ймовірністю $P(b\to s)$, що дорівнює відношенню розумних блондинок до загального числа блондинок. Ця ймовірність помітно відрізняється від ймовірності зустріти блондинку і розумну людину (як одну особистість): $$ P(b\to s) = \frac{8}{10}=0.8,~~~~~~~~~~~P(b,\,s) = \frac{8}{100} = 0.08. $$ Пов'язано це з тим, що блондинок у цьому всесвіті дуже небагато.
У введених вище позначеннях $P(b\to S)$ є функцією від $S$ з 2-ма значеннями для $S=s$ і $S=\bar{s}$: $$ P(b\to S) ~=~ \bigr\{ p(b \to s),~~~p(b\to \bar{s})\bigr\} ~=~ \bigr\{ 8,~~~2\bigr\}/10. $$ При цьому $P(B\to S)$ є вже матрицею $2\times 2$ з компонентами $P(b\to s)$, $P(b\to \bar{s})$, $P(\bar{b}\to s)$, $P(\bar{b}\to \bar{s})$.

Знайдемо ймовірність того, що зустрінута людина виявиться не блондинкою або розумною. З точки зору логіки $\bar{B} \vee S = \neg\neg(\bar{B}\vee S) = \neg(B\,\&\,\bar{S})$. Тому: $$ P(\bar{b} \vee s ) = 1- P(b,\,\bar{s}) = 1-\frac{2}{100} = 0.98. $$ Цей результат можна також отримати за допомогою тотожності: $$ P(\bar{b} \vee s) = P(\bar{b}) + P(s) - P(\bar{b},\, s) = \frac{90}{100} + \frac{40}{100} - \frac{32}{100} = \frac{98}{100} $$ або просто просумувавши відповідні об'єднанню подій числа: $(32+58+8)/100$ з другого рядка і першого стовпця (без повторів).

Випадкові величини

Нехай величина $X$ у кожному випробуванні набуває одного зі значень, що належать деякій множині. Якщо множина зліченна, наприклад, $\{x_1,...,x_n\}$, то $X$ називається дискретною випадковою величиною. Якщо значення $X$ - дійсні числа, то це неперервна випадкова величина.

◊ Випадіння числа на кубику можна розглядати як дискретну випадкову величину з шістьма можливими значеннями $X=x \in\{1,2,3,4,5,6\}$. Точка на столі, куди падає кубик, є неперервною векторною випадковою величиною з двома компонентами $\mathbf{X}=\mathbf{x}=\{x_1,x_2\}$ (координати кубика).

Випадкову величину прийнято позначати великим шрифтом $X$, а її значення - малим $x$. Ймовірності, з якими у випробуванні з'являються значення, називають розподілом ймовірностей (дискретним або неперервним): $P(X=x)$. Коротко це записується у вигляді функції $p(x)$.

Подія є окремим випадком дискретних випадкових величин з двома значеннями ($1$ - подія відбулася або $0$ - подія не відбулася). Замість запису $P(A=1)$ вище ми писали $P(a)$, а для $P(A=0)$ - $P(\bar{a})$. Множина елементарних подій $E=e \in \Omega=\{E_1,...,E_n\}$ є випадковою величиною (у даному випробуванні відбувається рівно одна подія, тобто $E$ має певне значення з множини $\Omega$). З іншого боку, дискретну випадкову величину можна розглядати як подію з двома несумісними наслідками: $P(X=x)$ або $P(X\neq x)$.

Оскільки випадкова величина набуває конкретного значення в кожному випробуванні, сума ймовірностей розподілу повинна дорівнювати одиниці. Це умова нормування записується по-різному для дискретних і неперервних величин: $$ \sum_i p(x_i)=1,~~~~~~~~~~~~~~~~~~~~~~\int\limits_X p(x)\,dx = 1. $$ У другому випадку функцію $p(x)$ називають густиною ймовірності, а $p(x)\,dx$ - це ймовірність того, що випадкова величина опиниться в діапазоні $[x,\,x+dx]$. Інтегрування ведеться по всій області можливих значень $X$. Далі для стислості будемо говорити про дискретні величини. У випадку неперервних випадкових величин, у всіх формулах необхідно замінити $p(x_i)$ на $p(x)\,dx$, а суму на інтеграл.

✒ Середнім значенням (mean) $X_\text{ср}$ випадкової величини називається зважена на ймовірності сума її можливих значень. Усереднення квадратів відхилень від середнього (variance) називається дисперсією $D$: $$ X_\text{ср}\equiv \langle X \rangle = \sum_i x_i\, p(x_i),~~~~~~~~~~~~D = \langle (X-X_\text{ср} )^2 \rangle = \sum_i (x_i-X_\text{ср})^2\, p(x_i). $$ Чим імовірніше значення випадкової величини, тим більший внесок у середнє воно дає. Якщо розподіл ймовірностей $p(x)$ має єдиний симетричний максимум, то середнє характеризує його положення, а корінь із дисперсії $\sigma=\sqrt{D}$ (середньоквадратичне відхилення) - ширину максимуму.

Безпосередньо з визначення випливає, що дисперсію можна обчислити також за такою формулою: $$ D = \langle (X-X_\text{ср} )^2 \rangle = \langle X^2-2X\,X_\text{ср}+X^2_\text{ср} \rangle =\langle X^2\rangle-2\langle X\rangle\,X_\text{ср}+X^2_\text{ср} = \langle X^2\rangle - X^2_\text{ср}, $$ де враховано, що середнє суми дорівнює сумі середніх, а сталий множник (константу) $X_\text{ср}$ можна виносити за знак середнього (за суму). Звернемо увагу на те, що, якщо $D \neq 0$, то середнє квадрата випадкової величини не дорівнює квадрату її середнього: $$ \langle X+Y\rangle = \langle X\rangle + \langle Y\rangle,~~~~~~~~~ \langle \alpha\,X\rangle = \alpha\,\langle X\rangle,~~~~~~~~~ \langle X^2\rangle \neq \langle X\rangle^2. $$

◊ Кубик кидають доти, доки не випаде $6$. Обчислити середнє число кидків у такому експерименті.
Випадковою величиною $N$ є число кидків. Ймовірність отримати $n-1$ не шісток, а потім шістку буде $(5/6)^{n-1}(1/6)$. Тому середня довжина дорівнює (при підсумовуванні використовуємо нескінченний ряд $x^n$, рівний $1/(1-x)$ і його похідну $n\, x^{n-1}$, сума якої дорівнює $1/(1-x)^2$): $$ N_{ср} = \sum^\infty_{n=1} n\, \left(\frac{5}{6}\right)^{n-1}\,\frac{1}{6} = 6. $$ Існує витончене міркування, що не потребує підсумовування. Результати $K$ експериментів "стикуємо" в одну послідовність типу $4125\mathbf{6}115323\mathbf{6}...$ Шістки в ній будуть зустрічатися з ймовірністю $1/6$, тому довжина $L$ послідовності дорівнює $6\cdot K$, а середня довжина одного експерименту: $L/K=6$.

Незалежність подій

Події $A,B$ називають незалежними, якщо умовна ймовірність $A$ не залежить від факту настання події $B$, а ймовірність $B$ від настання $A$: $$ P(B \to A)=P(A),~~~~~~~~~~~~~P(A \to B)=P(B). $$ Якщо в $N$ випробуваннях нас не цікавить $B$, то $P(A)=N(A)/N$. Якщо ж ми відбираємо тільки ті випробування, у яких відбулося $B$, то $P(B\to A)=N(A,\,B)/N(B)$. Коли ці дві величини збігаються, це і означає, що ймовірність $A$ не залежить від того, цікавилися ми $B$ чи ні (= $A$ не залежить від $B$).

З визначення умовної ймовірності випливає, що спільна ймовірність незалежних подій дорівнює: $$ P(A,\,B)=P(A)\cdot P(B). $$ Незалежність подій позначають таким чином: $A\Prep B$ (спільна ймовірність "розділяється").
Якщо $P(A,\,B,\,C)=P(A)\cdot P(B)\cdot P(C)$, то це $A\Prep B \Prep C$ (три незалежні події).
Очевидно, що несумісні події $P(A,B)=0$ завжди незалежні, якщо, звісно, $P(A),P(B) \gt 0$.

Неважко перевірити, що, якщо $P(A,\,B) ~\gt~ P(A)\cdot P(B)$, то справедливі нерівності: $$ P(B\to A) ~\gt~ P(A),~~~~~~~~~~~~~~~P(A\to B) ~\gt~ P(B), $$ що означають, що за наявності події $B$, подія $A$ більш імовірна, ніж без урахування $B$ і навпаки. Для оберненої нерівності $P(A,\,B) ~\lt~ P(A)\cdot P(B)$, ймовірність події $A$ зменшується (при настанні $B$) і навпаки.

☝ Іноді незалежність інтуїтивно очевидна, коли між подіями немає зв'язку (наприклад, при підкиданні двох монет). Однак вона також може бути "випадковим" ефектом статистики. Наприклад, нехай у всесвіті є 100 жінок. З них 10 блондинок $(B)$ і 20 зеленооких ($G$). Якщо зеленооких блондинок 2, то події $B$ і $G$ будуть незалежними. При іншому числі $B\,\&\,G$ це вже не так.

Взагалі, "залежність" (невиконання умови незалежності) $P(A,\,B)\neq P(A)\cdot P(B)$ не варто розуміти в буденному сенсі. Зокрема, факт "залежності" не означає, що $A$ є причиною $B$ або навпаки. Краще про незалежність думати в термінах умовної ймовірності $P(A\to B)=P(B)$: "чи додає щось знання значення $A$ для прогнозування значення $B$?".

◊ Розглянемо три події, що виникають при киданні кістки, на якій "випало число ...": $$ \text{"парне": } A=\{2,4,6\};~~~~~~~ \text{"те, що ділиться на три":} B=\{3,6\};~~~~~~~\text{"менше п'яти": }C=\{1,2,3,4\}. $$ Оскільки $A\,\&\,B = \{6\}$,   $A\,\&\,C = \{2,4\}$,   $B\,\&\,C = \{3\}$,   неважко перевірити, що $A\Prep B$, $A\Prep C$,
але при цьому $B$ і $C$ не є незалежними.

✒ Нехай дві події незалежні $A\Prep B$. Чи будуть незалежними їхні заперечення $\bar{A}\Prep \bar{B}\,$?
Так, будуть. Скористаємося геометричними міркуваннями. Праворуч наведена множина елементарних подій у просторі випробувань. Подія $A\,\&\,B$ (лівий верхній кут) має ймовірність ("площу") $P(A)\,P(B)$. Весь верхній рядок з площею $P(A)$ відповідає події $A$. Тому подія $A\,\&\,\bar{B}$ має площу $P(A)-P(A)\,P(B)$. Аналогічно для двох подій, що залишилися $\bar{A}\,\&\,B$ і $\bar{A}\,\&\,\bar{B}.$

✒ Спільні ймовірності незалежних подій факторизуються $P(A,\,B)=P(A)\,P(B)$. Однак, попарне виконання цього співвідношення між множиною подій не завжди означає їхню незалежність.

◊ Нехай є чотири елементарні рівноймовірні події: $\Omega =\{w_1,\,w_2,\,w_3,\,w_4\}.$ Розглянемо три складені події $A=\{w_1,w_2\},$ $B=\{w_1,w_3\},$ $C=\{w_1,w_4\}$.
Їхні ймовірності дорівнюють $1/2$ (на малюнку заштриховано подію $A$). Оскільки $A\,\&\,B~=~w_1$, то $P(A\,\&\,B) ~=~ P(w_1) ~=~1/4$, тому: $$ P(A,\,B)=P(A)\,P(B),~~~~~~~~ P(A,\,C)=P(A)\,P(C),~~~~~~~~ P(B,\,C)=P(B)\,P(C). $$ У той же час: $$ P(A,\,B,\,C) = P(w_1) = \frac{1}{4} \neq P(A)\,P(B)\,P(C). $$ Таким чином, з $A\Prep B$, $A\Prep C$, $B\Prep C$, взагалі кажучи, не випливає $A\Prep B \Prep C$.

✒ Зазначимо також, що незалежність не має транзитивності: $$ A\Prep B,~~B\Prep C~~~~~~\not\Rightarrow~~~~A\Prep C. $$ Наприклад це так для такої спільної ймовірності: $P(A,B,C)=P(B)\,P(A,C)$.

✒ Вимога $P(X,Y,Z)=P(X)\,P(Y)\,P(Z)$ незалежності трьох подій $A\Prep B \Prep C$ включає в себе всі парні незалежності, якщо провести підсумовування за "непотрібною" подією: $$ P(X,Y)~=~\sum_{Z}P(X,Y,Z) ~=~P(X,Y,z)+P(X,Y,\bar{z})~=~P(X)P(Y)\,\bigr(P(z)+P(\bar{z})\bigr)~=~P(X)P(Y), $$ оскільки $P(z)+P(\bar{z})=1$, де $z$ - подія $Z$ відбулася, а $\bar{z}$ - не відбулася. Тому $A\Prep B \Prep C~~~\Rightarrow~~~A\Prep B$ і т.д.

✒ Доведемо, що дисперсія частоти події за $N$ випробуваннями дорівнює $p_A(1-p_A)/N$. Нехай багато разів проводяться експерименти, у кожному з яких здійснюється $N$ випробувань зі спостереження події $A$. Величина $X_i=1$, якщо в $i$-тому випробуванні подія відбулася, інакше $X_i=0$. Це випадкова величина, оскільки в одному експерименті, у $i$-му випробуванні подія може відбутися, а в іншому - ні. Частота події також стає випадковою величиною $P=(X_1+...+X_N)/N$ . Знайдемо її середнє і дисперсію за всіма експериментами. Якщо "справжня" ймовірність події дорівнює $p_A$, то для будь-якого $i$: $$ \langle X_i \rangle = 1\cdot p_A+0\cdot (1-p_A)=p_A,~~~~~~~~~~~~~~\langle X^2_i \rangle = 1^2\cdot p_A+0^2\cdot (1-p_A)=p_A. $$ Відповідно, середня частота також дорівнює $P_\text{ср}=\langle P \rangle = p_A$. Випадкові величини $X_i$ і $X_j$ є незалежними (подія може відбутися у випробуванні незалежно від того, що відбувалося в інших випробуваннях). Тому: $$ при~~i\neq j~~~~~~~~~~~\langle X_i\, X_j \rangle = \sum_{x_i, x_j} x_i \,x_j~ p(x_i,x_j) = \sum_{x_i, x_j} x_i\, x_j~ p(x_i)\,p(x_j) = \langle X_i \rangle\, \langle X_j \rangle, $$ де суми йдуть за двома значеннями $0,1$ кожної випадкової величини. Обчислимо тепер середнє квадрата частоти: $$ N^2\langle P^2 \rangle = \langle (X_1+...+X_N)^2 \rangle = \sum_i \langle X^2_i \rangle+ 2\sum_{i\lt j} \langle X_i X_j \rangle = \sum_i \langle X^2_i \rangle+ 2\sum_{i\lt j} \langle X_i \rangle \,\langle X_j \rangle = N p_A + N\,(N-1)\,p^2_A, $$ де враховано, що в першій сумі $N$ однакових доданків, а в другій - $N(N-1)/2$. Тепер за формулою $D=\langle P^2\rangle - P^2_\text{ср}$ неважко знайти дисперсію $D=p_A(1-p_A)/N$.

Умовна незалежність

Дві події $X,Y$ називають незалежними за умови, що відбувається подія $Z$, якщо: $$ P(Z,\,Y\to X) = P(Z\to X),~~~~~~~~~~~~P(Z,\,X \to Y) = P(Z\to Y). $$ Умовна незалежність схожа на безумовну, у тому сенсі, що ймовірність настання $X$ не залежить від того, чи була подія $Y$, і навпаки. Але при цьому ці ймовірності залежать від третьої події $Z$.

Неважко перевірити, що з цього визначення випливає співвідношення $P(X,Y,Z)\,P(Z) = P(X,Z)\,P(Y,Z)$, яке дозволяє факторизувати спільну умовну ймовірність для умовно незалежних $X,Y$: $$ P(Z\to X,\,Y) = P(Z\to X)\,P(Z\to Y). $$ Тому незалежність $X,Y$ за умови $Z$ позначають таким чином: $X\Prep Y\mid Z$.

У загальному випадку для спільної ймовірності трьох довільних подій $X,Y,Z$ виконується ланцюгове правило: $P(X,Y,Z)=P(Z)\, P(Z\to X) \,P(Z,X\to Y).$ За наявності умовної незалежності $X\Prep Y\mid Z$ останній множник замінюється на простіший: $$ P(X,Y,Z)=P(Z)\,P(Z\to X)\,P(Z\to Y). $$ Ситуації, у яких $X_1\Prep X_2\Prep ...\Prep X_n\mid Z$ відіграють важливу роль у машинному навчанні. Наприклад, $Z$ може бути фактом наявності хвороби, а $X_i$ - умовно незалежними її симптомами.

✒ Варто перевірити, що якщо $X,Y$ умовно незалежні і $X'$ є підмножиною $X$, а $Y'$ - підмножиною $Y$, то умовно незалежними будуть також і $X',Y'$: $$ X\Prep Y\mid Z,~~~~~X'\subseteq X,~~~~Y'\subseteq Y~~~~~~~\Rightarrow~~~~~~~X'\Prep Y'\mid Z $$ Нагадаємо, що якщо $P(X'\to X)=1$, то $X' \subseteq X$ і $P(X',X)=P(X')$.

☝ Підкреслимо, що з парної незалежності $X \Prep Y$ не випливає умовна незалежність для $X \Prep Y \mid Z$ і навпаки - умовна незалежність, взагалі кажучи, не означає безумовної парної незалежності.
Наведемо два приклади.

◊ Коли $X:$ "продається багато морозива", тоді відбувається $Y$: "нещасні випадки на воді" і $P(X,Y)\neq P(X)P(Y)$. Але пов'язано це з тим, що є третя "керуюча змінна" - $Z$: "на вулиці спекотно", тому багато і купують морозива, і купаються у водоймі.
У цьому випадку, швидше за все $X\Prep Y\mid Z$, але $X \NoPrep Y$ і спільна ймовірність дорівнює: $$ P(X,Y,Z)~=~P(Z)\,P(Z\to X,Y)~=~P(Z)\,P(Z\to X)\,P(Z\to Y), $$ де перша рівність - це визначення умовної ймовірності, а в другій враховано $X\Prep Y\mid Z$.

◊ Нехай кидають два гральні кубики. Значення їхніх очок $X,Y$ незалежні $X\Prep Y$. Однак, якщо є інформація $Z$: "сума очок ділиться на 6", то події не є умовно незалежними. $Z$ реалізується коли $\{(X,\,Y)\} = \{(1,\,5);\, (5,\,1);\, (2,\,4);\, (4,\,2);\, (3,\,3);\, (6,\,6)\}$, тому $P(Z\to X=3,Y=3)=1/6$. У той же час $P(Z\to X=3)=P(Z\to Y=3)~=~1/6$, тому умовної незалежності немає: $1/6 \neq (1/6)(1/6)$.

Діаграми, наведені праворуч, називаються баєсівськими мережами. Вони відіграють важливу роль у машинному навчанні і в теорії ймовірнісного логічного виведення. Ймовірнісне міркування (reasoning) або вивід (inference) полягає в побудові ймовірнісної моделі $P(X_1,...,X_n)$ для $n$ змінних (випадкових величин). Зазвичай відома деяка підмножина змінних. На підставі цієї інформації потрібно з'ясувати ймовірності інших величин, наприклад: $P(X_1,X_2\to X_3)$. Основна проблема полягає в побудові ймовірнісної моделі. Навіть для бінарних випадкових величин (=подій) потрібне завдання $2^n-1$ чисел. При великих $n$ це проблематично в обчислювальному плані і нереалістично в емпіричному. У цій ситуації на допомогу приходять умовні незалежності між величинами, які дозволяють розбити спільну ймовірність на добуток простіших.