ML: Комбінаторика та ймовірності


Вступ

При обчисленні ймовірностей елементарних подій часто потрібно порахувати число можливих варіантів. Подібною діяльністю займається комбінаторика. Це досить своєрідний розділ математики. Задачі, які він розв'язує, виглядають дуже складними, доти, поки не пред'явлено їхнє розв'язання. Одразу після цього вони здаються абсолютно елементарними. Цей документ продовжує вступ до теорії ймовірностей і присвячений елементам комбінаторики та деяким важливим розподілам імовірностей.


Число перестановок

Число можливих перестановок $n$ пронумерованих об'єктів дорівнює факторіалу від числа об'єктів: $$ n!=n\cdot(n-1)\cdot....\cdot 1. $$ Дійсно, перший об'єкт (праворуч кулі) можна поставити на одну з $n$ позицій. Для кожного з цих варіантів другий об'єкт можна поставити на одну з $n-1$ решти вільних позицій. Це робиться $n\cdot(n-1)$ способами. Для кожного з них третьому об'єкту залишається $n-2$ позицій, тощо.

Зручно вважати, що $0!=1!=1$. При великих $n$ факторіал $n!$ зростає дуже швидко і справедлива наближена формула Стірлінга: $$ \ln n! \approx n\ln n - n + \ln\sqrt{2\pi n} + \frac{1}{12 n}, $$ яка добре працює навіть при малих $n$. Наприклад, $\ln 5! = 4.78749$, а формула Стірлінга дає $4.7875\underline{1}$.

◊ Скількома способами можна розсадити $n$ осіб за столом?

Число перестановок людей дорівнює $n!$. При цьому не відіграє ролі, сидять вони вздовж прямокутного столу чи навколо круглого.


Число розміщень

Нехай у закритій урні є $n$ пронумерованих куль. З урни випадковим чином, послідовно дістають $m \le n$ куль (без повернення). Знайдемо число різних результатів такої процедури. Першим може бути витягнута куля з будь-яким номером $1,...,n$. Для кожного з них, другим може бути одна з $n-1$ решти куль тощо. Отриману величину називають розміщеннями $m$ по $n$: $$ A^m_n = n\cdot (n-1)\cdot\,...\cdot (n-m+1) = \frac{n!}{(n-m)!}, $$ де добуток помножено і розділено на $(n-m)!$. На рисунку праворуч $n=3$, $m=2$ і $A^2_3=6$. Звернімо увагу, що результати витягування можна представити у вигляді $A^m_n$ різних $m$-ок незбіжних цілих чисел $(x_1,...,x_m)$, $x_i\neq x_j$, значення яких лежать у діапазоні $1\le x_i\le n$.


Число сполучень

Нехай в урні є $n$ пронумерованих куль. Ми витягуємо (без повернення) $m$ куль, не цікавлячись їхнім порядком. Для однозначності вважатимемо, що наприкінці кулі впорядковуються за зростанням номера: $(x_1 \lt x_2 \lt ....\lt x_m)$, де $1 \le x_1\le n$. Число таких $m$-ок називається сполученнями $m$ по $n$.

Оскільки $m$ пронумерованих об'єктів можна переставити $m!$ способами, то тепер величини $A^m_n$ необхідно зменшити в $m!$ разів (усі їхні перестановки не важливі). У результаті отримуються біноміальні коефіцієнти: $$ C^m_n = \frac{n!}{m!\,(n-m)!}. $$ Нескладно бачити, що $C^n_n=1$ (просто дістали всі кулі), а $C^1_n=n$ (витягли одну з $n$ куль).

Біном Ньютона є твірною функцією для $C^m_n$ (коефіцієнти її розкладу в ряд по $x$ дають $C^m_n$): $$ (1+x)^n ~=~ 1 +\frac{n}{1!}\,x+\frac{n\,(n-1)}{2!}\,x^2 +...+ x^n ~=~\sum^n_{m=0} C^m_n\, x^m. $$ Наведемо також кілька корисних тотожностей: $$ C^m_n=C^{n-m}_n,~~~~~~~~~~~~C^{m+1}_{\,n\,+1} - C^{m+1}_{\,n} = C^m_n,~~~~~~~~~~~~~ \sum^n_{m=0} C^m_n = 2^n,~~~~~~~~~~~~~ \sum^n_{m=0} (C^m_n)^2 = C^n_{2n}. $$ Перші два випливають з визначення, а останній — з твірної функції.

◊ Скільки існує послідовностей нулів і одиниць довжини $n$ з рівно $m$ одиницями?

Таких послідовностей буде $C^m_n$. Так, для $n=4$, $m=2$, $C^2_4=6$ це: $1100$, $1010$, $1001$, $0110$, $0101$, $0011$. Дійсно, зробимо одиниці розрізнюваними (пронумеруємо їх). Першу одиницю можна поставити на одне з $n$ місць. Другу — на одне з $n-1$ решти місць тощо, тобто всього $~~~n\cdot (n-1)\cdot...\cdot (n+m-1)$ способами, які слід розділити на $m!$ (одиниці нерозрізнювані — усі їхні перестановки еквівалентні).

Можливе також таке міркування. Візьмемо деяку послідовність (вище, наприклад, $1100$). Усі її варіації — це $n!$ перестановок $n$ цифр, з яких нерозрізнювані $m!$ перестановок $m$ одиниць і $(n-m)!$ перестановок $n-m$ нулів. Тому маємо $n!/m!(n-m)!=C^m_n$ варіантів.

Бінарні послідовності виникають у біноміальному розподілі і при виведенні розподілу Фермі (розміщення по $n$ станах $m$ ферміонів, які не можуть мати однакового стану).


Число композицій

✒ Корисним співвідношенням є кількість можливих розкладів (композицій) числа $n$ на $k$ доданків: $n_1+...+n_k = n$. Нехай $n_i \gt 0$. Представимо число $n$ як $n$ одиниць, розділених порожніми місцями: $1\square 1\square 1$. На цих $n-1$ місцях мають стояти $k-1$ ком, що розділяють доданки, а в решті — знаки плюс, які формують ці доданки. Наприклад $3 = 1+2$ це $1\,,\,1+1$. Оскільки коми нерозрізнювані, число сполучень (способів розстановки) ком дорівнює $C^{k-1}_{n-1}$. Якщо деякі з $k$ доданків $n_i$ можуть бути нулями, то суму слід переписати так: $(\tilde{n}_1-1)+...+(\tilde{n}_k-1)=n$ або $\tilde{n}_1+...+\tilde{n}_k=n+k$, де всі $\tilde{n}_i \gt 0 $. Таким чином: $$ \text{Число композицій}~~~~ n_1+...+n_k = n~~~\text{дорівнює}~~~~~~~~~ \left\{ \begin{array}{lll} C^{k-1}_{n-1}, & якщо & n_i \gt 0\\ C^{k-1}_{n+k-1},& якщо & n_i \ge 0\\ \end{array} \right.. $$

◊ Скількома способами можна розкласти $m$ нерозрізнюваних куль по $n$ пронумерованих ящиках?

Позначимо через $N_i$ число куль в $i$-му ящику. Тоді $N_1+...+N_n=m$, де $N_i\ge 0$ (в ящику куль може не бути). Тому число варіантів розміщення дорівнює $C^{n-1}_{m+n-1}$. Ця задача лежить в основі виведення квантового розподілу Бозе-Ейнштейна (розміщення $m$ тотожних бозонів по $n$ станах).

◊ Нехай сесія триває $d$ днів і складається з $x$ іспитів. За правилами, після іспиту має бути хоча б один день на відпочинок. Яка ймовірність того, що якийсь іспит випаде на перший день сесії (при випадковому формуванні розкладу)?

Додамо до сесії один день, який завжди буде вихідним. Пари днів ($x$ штук) іспит плюс вихідний: $(і,в)$ розмістимо всередині сесії, розділивши їх $d_i\ge 0$ днями: $d_1(і,в)d_2(і,в)d_3....(і,в)d_k,~$ де $k=x+1$ і $d_1+...+d_k=n=d+1-2\,x$. Оскільки $d_i\ge 0$, число можливих розкладів дорівнює $N = C^{k-1}_{n+k-1}\cdot x! = A^{x}_{d+1-x}$. Аналогічно обчислюється число розкладів з іспитом у перший день: $(і,в)d_1(і,в)d_2....(і,в)d_k$. Тепер $k=x$ і $N_1 = C^{x-1}_{d-x}\cdot x! = x\, A^{x-1}_{d-x}$. Тому шукана ймовірність $P=N_1/N = x \, A^{x-1}_{d-x}/A^{x}_{d-x+1} = x/(d-x+1).$


Витягування з поверненням

Будемо витягувати $m$ куль з урни, вважаючи, що номер кулі записується, після чого вона знову повертається в урну. На відміну від витягувань без повернення, номери в списку можуть повторюватися. Якщо ми відстежуємо порядок витягнутих куль, кожна комбінація є числом з $m$ розрядами в $n$-річній системі числення: $(x_1x_2...x_m)$, де $n$ — число куль в урні. Кількість таких чисел дорівнює $n^m$. Дійсно, можливе $n$ «цифр» у першому розряді. Для кожної такої можливості у другому розряді знову може бути $n$ «цифр» тощо: $n\cdot n\cdot ...$ ($m$ разів). Можна також уявляти дерево, з кореня якого виходять $n$ гілок (перша «цифра»), з кожної гілки знову виходить $n$ гілок (друга «цифра») тощо.


Складніша ситуація, коли порядок витягнутих куль не відстежують, перемішавши і впорядкувавши їх наприкінці. Таким чином, необхідно знайти число всіх можливих $m$-ок виду $(x_1\le x_2 \le ...\le x_m)$, де $1 \le x_i \le n$. Розділити $n^m$ на $m!$, як у ситуації зі сполученнями, не можна, оскільки в послідовностях можуть зустрічатися однакові номери (замість $\lt$ стоять $\le$).

Позначимо число шуканих комбінацій як $(m,n)$. Очевидно, що $(1,n)=n$. Доведемо за індукцією, що $$ (m,n) = C^m_{n+m-1}. $$ Знайдемо число $(m+1,n)$ послідовностей $(x_1\le ...\le x_{m+1})$. Для $x_1=1$ буде $(m,n)$ варіантів $(x_2\le ...\le x_{m+1})$. Число послідовностей з $x_1=2$ дорівнює $(m,n-1)$, оскільки номери в списку $(x_1\le ...\le x_{m+1})$, $2\le x_i\le n$ можна зменшити на $1$, отримавши $1\le x_i\le n-1$. Аналогічно далі до $(m,1)$ при $x_1=n$: $$ (m+1,n) ~=~ (m,1)+\sum^n_{k=2} (m,k) ~=~ C^{m}_{m}+\sum^n_{k=2} C^m_{k+m-1} ~=~ C^{m}_{m} + \sum^n_{k=2} (C^{m+1}_{k+m}-C^{m+1}_{k+m-1}) = C^{m}_{m} - C^{m+1}_{m+1}+ C^{m+1}_{n+1}, $$ де в другій рівності підставлені $(m,n) = C^m_{n+m-1}$, а в третій враховано другу тотожність для біноміальних коефіцієнтів. У отриманій сумі різниць скорочуються всі доданки, крім частини першого і останнього. Оскільки $C^m_m = C^{m+1}_{m+1}$, отримуємо $C^{m+1}_{n+m}$. Таким чином, з $(1,n)$ і $(m,n)$ ми вивели вираз для $(m+1,n)$. Тому $(m,n) = C^m_{n+m-1}$ для будь-якого $m$. □


Гіпергеометричний розподіл

Нехай в урні є $M$ білих нерозрізнюваних куль і $N-M$ чорних (також нерозрізнюваних) куль. З урни дістають $n$ куль без повернення. Знайдемо ймовірність того, що $m$ з них виявляться білими. Вибрати $n$ куль з урни з $N$ кулями можна $C^n_N$ способами (ігноруючи їхній колір). Число способів вибрати $m$ куль з $M$ білих дорівнює $C^{m}_{M}$. Для кожного такого способу є $C^{n-m}_{N-M}$ можливостей вибрати $n-m$ куль з $N-M$ чорних. Тому шукана ймовірність дорівнює гіпергеометричному розподілу: $$ P(N,M,n\to m)=\frac{C^{m}_{M}\,C^{n-m}_{N-M}}{C^n_N}. $$ Мінімальне значення $m$ буде, коли з урни дістануть усі чорні кулі, а максимальне — коли всі білі. Тому $m$ лежить в інтервалі $[\max(0,\,n-(N-M)),~\min(n,\,M)]$.

◊ Знайти ймовірність вгадати $m=0...5$ цифр розіграшу в лотерею $M=5$ з $N=36$.

Можна вважати, що випалі $M$ куль на розіграші вже відомі (але нам їхні номери не повідомили). Ці кулі фарбують у білий колір, а решту $N-M$ у чорний і кладуть в урну. Ми випадково дістаємо $n=M=5$ куль. З них $m=0,...,n$ буде білими (виграшними) з імовірністю $P(36,5,5\to m)=C^{m}_{5}\,C^{5-m}_{31}/C^5_{32}$.


Біноміальний розподіл

Нехай імовірність події дорівнює $p$. Знайдемо ймовірність $P_n(m)$ спостерігати цю подію $m$ разів у $n$ випробуваннях. Ймовірність конкретної послідовності спостережень (0010011 — ні,ні,так,...) дорівнює $p^m \,(1-p)^{n-m}$. Таких послідовностей буде $C^m_n$ штук, що призводить до біноміального розподілу або розподілу Бернуллі: $$ P_n(m)=C^m_n\,p^m \,q^{n-m},~~~~~~~~~~~q=1-p,~~~~~~~~~~~\sum^n_{m=0} P_n(m) = (p+q)^n = 1. $$

Враховуючи біном Ньютона, нескладно отримати твірну функцію для середніх: $$ \langle m^k \rangle = \sum^n_{m=0} m^k\,P_n(m),~~~~~~~~~~~(p\,e^t + q)^n = \sum^n_{m=0} C^m_n\, e^{tm}\,p^m\,q^{n-m} = \sum^\infty_{k=0} \langle m^k \rangle \,\frac{t^k}{k!}, $$ де остання рівність отримана розкладом експоненти в ряд Тейлора. Беручи похідні по $t$ від $(p\,e^t + q)^n$ у точці $t=0$, отримуємо такі вирази для середнього, дисперсії і скосу (асиметрії): $$ m_{ср}=\langle m \rangle = np,~~~~~~~~~~ D=\langle (m-m_{ср})^2 \rangle=npq,~~~~~~~~~~ \frac{\langle (m-m_{ср})^3 \rangle}{D^{3/2}}=\frac{1-2p}{\sqrt{npq}}. $$ Чим ближче скіс до нуля, тим симетричніший розподіл відносно середнього значення.
Для $p=1/2$ розподіл симетричний (біноміальні коефіцієнти симетричні, а $p^m q^{n-m}=1/2^n$).

Зауважимо, що урна гіпергеометричного розподілу при $M,N\to \infty$ і $N/M \to p$ може розглядатися як генератор випадкової події, що має ймовірність $p$. У цьому границі гіпергеометричний розподіл прямує до біноміального. У свою чергу, біноміальний розподіл у двох важливих граничних випадках переходить у розподіл Пуассона і Гаусса (нормальний розподіл). Розглянемо їх докладніше.


Розподіл Пуассона

Нехай $n\to \infty$ і $p\to 0$ так, що $np=\lambda=\text{const}$. Подібна границя виникає, наприклад, при радіоактивному розпаді (багато атомів $n$, а ймовірність розпаду $p$ кожного з них мала) або при відмовах на обслуговування (багато запитів $n$ і мала ймовірність відмови $p$ у кожному з них). Запишемо біноміальний розподіл: $$ P_n(m)=\frac{n\,(n-1)\,...\,(n-m+1)}{m!}\,p^m \,q^{n-m} = \frac{(np)^m \,q^{n-m}}{m!}\,\Bigr(1-\frac{1}{n}\Bigr)\,...\,\Bigr(1-\frac{m-1}{n}\Bigr) $$ і спрямуємо $n\to \infty$ і $p\to 0$. Тоді $q^{n-m}\to q^n = (1-\lambda/n)^{n}\to e^{-\lambda}$ (чудова границя) і ми приходимо до розподілу Пуассона: $$ P(m) = \frac{\lambda^m}{m!}\,e^{-\lambda},~~~~~~~~~~~~~~~~~~~~~\sum^\infty_{m=0} P(m) =e^\lambda\, e^{-\lambda}= 1. $$ Параметр розподілу $\lambda$, зазвичай, знаходиться з аналізу даних. Він має сенс середнього значення $m_{ср}=\lambda$ і дисперсії $D=\langle (m-m_{ср})^2 \rangle =\lambda$ (це випливає при $n\to \infty$, $p\to 0$ зі статистик для біноміального розподілу). Скіс дорівнює $\lambda^{-1/2}$ Чим більше $\lambda$, тим розподіл буде симетричнішим відносно $m_{ср}$. При малих $\lambda$ максимум розподілу притискається до нуля і має довгий «хвіст» праворуч (велика асиметрія).

При використанні пуассонівського розподілу події зазвичай спостерігають протягом деякого часу $t$. Тому зручно перейти до числа подій за одиницю часу: $\lambda = np = \mu t$ (чим більше $t$, тим більше спостережень $n$). Ймовірність того, що за час $t$ відбудеться $m$ подій, у цьому випадку дорівнює: $$ P(m) = \frac{(\mu t)^m}{m!}\,e^{-\mu t}. $$ З імовірністю $e^{-\mu t}$ за час $t$ не відбудеться жодної події і з імовірністю $1-e^{-\mu t}$ відбудеться хоча б одна подія.

Оскільки $\langle m \rangle = \mu t$, за малий інтервал часу $dt$ відбудеться $d\langle m \rangle = \mu \,dt$ подій. Тому параметр розподілу $\mu = d\langle m \rangle \,/ \,dt$ називають інтенсивністю пуассонівського потоку.


Нормальний розподіл

✒ Розглянемо тепер границю великих $n$ і скінченних $p$ при $m\sim \,np=\langle m \rangle$ ($m$ знаходиться близько свого середнього значення). Знайдемо спочатку розклад у ряд по $x$ факторіала $(N+x)!$ при $N \gg x$. За визначенням: $$ \ln(N+x)! = \ln[N!(N+1)...(N+x)] = \ln N! + \sum^x_{k=1}\,\ln(N+k) = \ln N! + x\ln N + \sum^x_{k=1}\,\ln\Bigr(1+\frac{k}{N}\Bigr). $$ Враховуючи розклад $\ln(1+x)=x+...$ при малих $x$ і суму $1+2+...+x=x(x+1)/2$ (арифметична прогресія), остаточно отримуємо: $$ \ln(N+x)! = \ln N! + x\ln N + \frac{x(x+1)}{2N} + O\Bigr(\frac{1}{N^2}\Bigr). $$ Зауважимо, що поклавши $x=dN$ нескладно отримати рівняння $d\ln(N!)/dN = \ln N + 1/2N$, звідки випливають перші три доданки формули Стірлінга (з точністю до сталого множника).

Введемо тепер $x$, рівне відхиленню $m$ від середнього значення $np$. При цьому $m=pn + x$ і $n-m = qn - x$: $$ \ln P_n(m) = \ln n! - \ln(pn+x)! - \ln(qn-x)! + (pn+x)\,\ln p + (qn - x)\,\ln q. $$ Використовуючи формулу для $\ln(N+x)!$, отримуємо: $$ \ln P_n(m) = \ln P_n(np) -\frac{x^2+(1-2p)\,x}{2D}, $$ де перший доданок відповідає сталим членам розкладу при $x=0$ і $D=n\,p\,q$ — дисперсія біноміального розподілу. Множник $1-2p$ при лінійному по $x$ члені змінюється в інтервалі $(-1,...,1)$ і характеризує асиметрію біноміального розподілу. Цей доданок дає невеликий внесок (і при $p=1/2$ зникає). Дійсно, оскільки $x=1,2,3,...$, маємо $x^2\gg (1-2p)\,x$ вже для $x=2$ (наприклад, для $p=1/4$ буде $4 \gg 1$). Чим більше $x$, тим менший внесок цього доданка.

Таким чином, хорошим наближенням до біноміального розподілу при великих $n$ і $p\sim 1/2$ є нормальний розподіл: $$ P_n(m)\approx \frac{1}{\sqrt{2\pi D}}\,e^{-(m-np)^2/2D}, $$ де нормувальний множник $1/\sqrt{2\pi D}$ отримано інтегруванням по $x$ від $-\infty$ до $\infty$ (експонента швидко спадає). Такий розподіл названо «нормальним», тому що він часто виникає в різних практичних задачах. Наприклад, якщо вимірюються значення деякої величини $X$, яка піддається великій кількості випадкових і незалежних зовнішніх впливів, вона стає випадковою з нормальним розподілом.


Корисні інтеграли

При роботі з нормальним розподілом часто виникає інтеграл такого вигляду: $$ I = \int\limits^\infty_{-\infty} e^{-x^2} \,dx. $$ Він обчислюється в полярних координатах $(r,~\phi):~x=r\cos \phi,~~y=r\sin \phi$, як подвійний інтеграл: $$ I^2 = \int\limits^\infty_{-\infty} \int\limits^\infty_{-\infty} e^{-x^2-y^2} dx dy = \int\limits_0^{2\pi} \int\limits^\infty_{0} e^{-r^2} r dr d\phi = 2\pi \int\limits^\infty_{0} e^{-r^2} d\frac{r^2}{2} = \pi, $$ де ми скористалися тим, що в координатах $(r,~\phi)$ елемент площі дорівнює добутку дуги $rd\phi$ на зміну радіуса $dr:~dxdy=rd\phi \, dr$. Витягуючи квадратний корінь і роблячи заміну $x \to x\sqrt{\alpha}$, отримуємо: $$ ~I(\alpha) = \int\limits^\infty_{-\infty} e^{-\alpha x^2} dx = \sqrt{\frac{\pi}{\alpha}}. $$ Корисний прийом — взяття похідних правої і лівої частин по параметру $\alpha$ для отримання інтегралів від парних степенів $x^{2n}$. Інтеграл від непарних степенів $x$, через антисиметричність підінтегральної функції, дорівнює нулю. Якщо виділити повний квадрат у виразі $-\alpha x^2+\beta x$, отримується такий інтеграл (за допомогою заміни $x'=x-\beta/2\alpha$ він зводиться до $I(\alpha)$ ): $$ ~\int\limits^\infty_{-\infty} e^{-\alpha x^2+\beta x} ~dx = \sqrt{\frac{\pi}{\alpha}}~ ~e^{\beta^2/4\alpha}. $$


Обчислимо ще один інтеграл, узявши від нього $n$ разів похідну по $\alpha$: $$ I(\alpha) = \int\limits^\infty_{0} e^{-\alpha x} dx = -\frac{1}{\alpha}~e^{-\alpha x}\biggr|^{\infty}_0 = \frac{1}{\alpha} ~~~~~~~~~~~ \Rightarrow~~~~~~~~~~~~~\int\limits^\infty_{0} x^n e^{-\alpha x} dx = \frac{n!}{\alpha^{n+1}}. $$ Інтеграли такого типу зустрічаються часто і для них введено спеціальне позначення у вигляді гамма-функції: $$ ~\Gamma(z) = \int\limits^\infty_{0} x^{z-1} e^{-x} dx. $$ Інтегруючи частинами, переконуємося, що $\Gamma(z+1)=z\,\Gamma(z)$. Зокрема, для цілих аргументів: $\Gamma(n+1)=n!$.
Для напівцілих аргументів гамма-функція зводиться до гауссового інтеграла. Так, $\Gamma(1/2)=\sqrt{\pi}$.

З інтегрального визначення гамма-функції випливає формула Стірлінга. Представимо $x^ne^{-x}$ як $e^{f(x)}$. Функція $f(x)=-x+n \ln x$ має максимум у точці $x_0=n$, оскільки $f'(x_0)=-1+n/x_0=0$. Запишемо її ряд в околі цієї точки: $$ f(x)=f(n)+\frac{1}{2}\,f''(n)(x-n)^2+...~=~ -n + n\ln n - \frac{(x-n)^2}{2n}+... $$ Тому $$ n! \approx e^{-n + n \ln n} \int\limits^\infty_{0} e^{-\frac{(x-n)^2}{2n}} dx \approx e^{-n + n \ln n} \int\limits^\infty_{-\infty} e^{-\frac{(x-n)^2}{2n}} dx =e^{-n + n \ln n} \sqrt{2\pi n}. $$ У другому інтегралі нижню межу замінено на $-\infty$, оскільки при великому $n$ максимум експоненти йде далеко праворуч і стає все вужчим, тому інтеграл від $-\infty$ до $0$ практично дорівнює нулю. Звідси випливають перші три доданки формули Стірлінга.