Вероватноћа и статистика/Теорија

Теорија са предавања може, поред задатака, доћи на колоквијумима. Испод је излистана сажета теорија, без додатних примера, ради вежбања за колоквијум.

Увод

Основни појмови

• Статистички експеримент:
  • може да се понови више пута под истим условима
  • познати су нам сви могући исходи (нотација: $\omega$)
  • не знамо унапред шта ће се десити у конкретном експерименту
  • Скуп свих исхода (нотација: $\Omega$) може бити коначан (бацање новчића), бесконачан, а уколико је бесконачан може бити пребројив (бацање коцке док не падне 6) и непребројив (бирање реалног броја из интервала)
• Догађај: подскуп $\Omega$ (нотација: $A$, $B$, ...)
  • Догађај се реализује у експерименту ако се оствари у једном од исхода који су његови елементи.
  • Операције над догађајима:
    • $A \cup B$: A или B
    • $A \cdot B$: A и B (нотација за пресек се не користи)
    • $A \setminus B$: A, али не B
    • $A'$, $\overline{A}$, $A^C$: супротан догађај ($\Omega \setminus A$)

Вероватноћа

• Аксиоме вероватноће: Вероватноћа је функција $P$ дефинисана над подскуповима неког скупа $\Omega$ ако важи:
  1. $P(\Omega) = 1$
  2. $\forall A \subset \Omega, P(A) \in [0, 1]$
  3. $P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$, где су $A_1, A_2, ... \subset \Omega$ који су међусобно искључиви и којих има коначно или пребројиво бесконачно
• Статистичко одређивање вероватноће: изводимо експеримент $n$ пута и региструјемо догађај $A$, тако да нам је $m(n)$ број реализација догађаја $A$:
  • релативна фреквенција догађаја: $\frac{m(n)}{n}$
  • $P(A) = \lim_{n \to \infty} \frac{m(n)}{n}$
• Модел једнаковероватности исхода: ако су сви исходи из скупа $\Omega$ једнаковероватни а број чланова је $n$, онда се вероватноћа догађаја $A \subset \Omega$ може одредити као количник броја повољних и свих исхода: $P(A) = \frac{|A|}{|\Omega|}$
• Геометријска вероватноћа: за непребројив скуп $\Omega$ који може да се представи геометријски као ограничени објекат (интервал праве, лик у равни, тело у простору) и догађај $A \subset \Omega$ важи $P(A) = \frac{m(A)}{m(\Omega)}$ где је $m$ мера тог објекта (дужина, површина, запремина).
  • Услов: једнаковероватни догађаји су представљени скуповима исте мере и обрнуто

Особине вероватноће

• Теорема 1.1: $P(A') = 1 - P(A)$
  • Доказ: како су $A$ и $A'$ међусобно искључиви, важи $A \cup A' = \Omega$, па из $P(A \cup A') = P(\Omega)$ и трећег аксиома вероватноће добијамо $P(A) + P(A') = 1$.
• Теорема 1.2: $P(\emptyset) = 0$
  • Доказ: из $\Omega' = \emptyset$ и теореме 1.1 следи да је $P(\emptyset) = 1 - P(\Omega) = 0$
• Теорема 1.3: $P(A \setminus B) = P(A) - P(AB)$
  • Доказ:
    • Ако су A и B међусобно искључиви, важи да је $A \setminus B = A$, па важи да је $P(A \setminus B) = P(A) = P(A) - P(\emptyset) = P(A) - P(AB)$
    • Ако нису, важи да је $A = (A \setminus B) \cup AB$, па из трећег аксиома добијамо $P(A) = P(A \setminus B) + P(AB) \implies P(A \setminus B) = P(A) - P(AB)$
• Теорема 1.4: $A \subset B \implies P(A) \leq P(B)$
  • Доказ: $P(B) = P(A) + P(B \setminus A)$, а пошто по другој аксиоми $P(B \setminus A)$ онда следи $P(B) \geq P(A)$
• Теорема 1.5: $P(A \cup B) = P(A) + P(B) - P(AB)$
  • Доказ:
    • Ако су међусобно искључиви, $P(AB) = 0$ тако да доказ следи по трећој аксиоми
    • Ако нису, $P(A \cup B) = P(A \setminus B) + P(B) = P(A) - P(AB) + P(B)$ по трећој аксиоми и теореми 1.3
  • Такође важи и $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

Условна вероватноћа и независност догађаја

Условна вероватноћа

• Условна вероватноћа догађаја A под условом да се реализовао догађај B: $P(A|B) = \frac{P(AB)}{P(B)}$ за $P(B) \neq 0$
• Теорема 2.1: Нека је $H \subset \Omega$ и $P(H) > 0$. Функција $P(...|H)$ је вероватноћа.
  • Доказ:
    1. $P(\Omega|H) = \frac{P(\Omega H)}{P(H)} = 1$
    2. За $A \subset \Omega$ важи $P(A|H) = \frac{P(AH)}{P(H)}$. Пошто је $P(AH) \geq 0$ и $P(H) > 0$, важи да је $P(A|H) \geq 0$. Пошто је $AH \subset H$, из теореме 1.4 следи да је $P(AH) \leq P(H)$, односно $\frac{P(AH)}{P(H)} \leq 1$
    3. Ако су $A_1, A_2, ... \subset \Omega$ међусобно искључиви догађаји којих има коначно или пребројиво много, добијамо $L = P(A_1 \cup A_2 \cup ...|A) = \frac{P((A_1 \cup A_2 \cup ...) \cdot H)}{P(H)} = \frac{P(A_1 H \cup A_2 H \cup ...)}{P(H)}$. Пошто су скупови $A_1 H, A_2 H, ...$ међусобно искључиви, на основу треће аксиоме следи $L = \frac{P(A_1 H) + P(A_2 H) + ...}{P(H)} = P(A_1|H) + P(A_2|H) + ...$
    • Како су доказане све три аксиоме вероватноће, доказано је и да је условна вероватноћа, такође, вероватноћа.

Независност догађаја

• Независност догађаја: Догађаји A и B су статистички независни ако важи $P(AB) = P(A) P(B)$.
• Независност по паровима: Ако су свака два од $A_1, A_2, ..., A_n \subset \Omega$ (за $n > 2$) независна, онда су ти догађаји независни по паровима.
• Независност више догађаја у целини: Ако за сваки подскуп $A_{i_1}, A_{i_2}, ... A_{i_k}$ скупа догађаја $A_1, A_2, ..., A_n \subset \Omega$, где је $2 \leq k < n$ важи $P(A_{i_1} \cdot A_{i_2} \cdot ... \cdot A_{i_k}) = P(A_{i_1}) \cdot ... \cdot P(A_{i_k})$, онда су догађаји из тог скупа међусобно независни.
• Теорема 2.2: Ако су догађаји $A_1, A_2, ..., A_n \subset \Omega$ независни и ако је догађај $B$ добијен од догађаја $A_1, A_2, ..., A_k$ ($k < n$) применом коначно много скуповних операција, онда су и догађаји $B, A_{n+1}, ..., A_n$ такође независни.
  • Доказ: није доказивано.
• Теорема 2.3: За догађаје $A_1, A_2, ..., A_n \subset \Omega$ ($n \geq 2$) важи: $P(A_1 ... A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) ... P(A_n|A_1 A_2 ... A_{n-1})$
  • Доказ: за $n = 2$ је ово дефиниција условне вероватноће, за остатак се доказује индукцијом.
• Потпун скуп хипотеза: Ако су догађаји $H_1, H_2, ..., H_n$ међусобно искључиви и важи $H_1 \cup H_2 \cup ... \cup H_n = \Omega$ онда они чине потпун скуп хипотеза.
• Тотална вероватноћа: $P(A) = P(H_1) P(A|H_1) + P(H_2) P(A|H_2) + ...$
• Бајесова формула: За $A \subset \Omega$, $P(A) \neq 0$ важи $P(H_i|A) = \frac{P(A|H_i) P(H_i)}{P(A)} = \frac{P(A|H_i) P(H_i)}{P(H_1) P(A|H_1) + P(A|H_2) A(H_2) + ... + P(A|H_n) P(H_n)}$
• Поузданост уређаја: вероватноћа да је уређај исправан, која зависи од поузданости његових компоненти. Две компоненте могу међусобно бити повезане редно или паралелно, и у зависности од тога одређујемо укупну поузданост те две компоненте.
  • Редно: $P = P_1 \cdot P_2$
  • Паралелно: $P = 1 - (1 - P_1)(1 - P_2) = P_1 + P_2 - P_1 P_2$

Случајне променљиве

• Случајна променљива: пресликавање скупа свих исхода $\Omega$ у скуп реалних бројева.
  • Ознака: $X \in \{x_1, x_2, ...\}$ где је $\{x_1, x_2, ...\}$ скуп свих бројева у које се пресликавају исходи.
  • На основу пребројивости скупа $\{x_1, x_2, ...\}$ случајне променљиве се деле на две категорије:
    • Дискретне: уколико је овај скуп коначан или пребројив, и
    • Непрекидне (мешовите): уколико је овај скуп непребројив.
• Расподела случајне променљиве: функција дефинисана над скуповима реалних бројева, $P_X(B) = P(X \in B), B \subset \mathbb{R}$
  • Закон расподеле вероватноће случајне променљиве: за неку случајну променљиву $X$, чији је скуп вредности $\{x_1, x_2, ...\}$, то је скуп вероватноћа $\{p_1, p_2, ...\}$ где је $p_i = P(X = x_i)$ за све $x_i$
  • Ознака: $X: \begin{pmatrix} x_1 & x_2 & ... \\ p_1 & p_2 & ... \end{pmatrix}$, тако да $\sum p_i = 1$

Непрекидне случајне променљиве

• Функција расподеле: $F(x) = P(X \leq x)$, за $x \in \mathbb{R}$
• Особине функције расподеле:
  1. $(\forall x \in \mathbb{R}) F(x) \in [0, 1]$
  2. $F(x)$ је монотоно неопадајућа функција
  3. $F(x)$ је непрекидна са десне стране за свако $x \in \mathbb{R}$
  4. $F(x)$ има граничну вредност са леве стране у свакој тачки $x \in \mathbb{R}$
  5. $\lim_{x \to -\infty} F(x) = 0, \lim_{x \to +\infty} F(x) = 1$
• Функција густине расподеле: ако је $f(x)$ ненегативна функција дефинисана на $\mathbb{R}$ и важи $(\forall x \in \mathbb{R}) F(x) = \int_{-\infty}^x f(t) dt$, онда је $X$ непрекидна случајна променљива а $f(x)$ њена функција густине расподеле.
  • $X$ је непрекидна $\implies F(x)$ је непрекидна
  • Ако $f(x)$ има коначно или пребројиво много тачака прекида, у њима се $f(x)$ може дефинисати произвољно.
• Теорема 3.1: За непрекидну случајну променљиву $X$ важи:
  1. $(\forall a \in \mathbb{R}) P(X = a) = 0$
     • Доказ: $P(X = a) = F(a) - F(a^{-}) = 0$
  2. $(\forall a, b \in \mathbb{R}, a < b) P(X \in (a, b)) = \int_a^b f(t) dt = P(X \in [a, b)) = P(X \in (a, b]) = P(X \in [a, b])$
     • Доказ: ако интеграл представимо површином испод функције, није нам битно да ли избацимо нула, једну или две дужи из те површине.
  3. $P(x < a) = P(x \leq a)$ и $P(x > a) = P(x \geq a)$
  4. $\int_{-\infty}^{+\infty} f(x) dx = 1$
• Теорема 3.2: ако је $F(x)$ дефинисана на $\mathbb{R}$, непрекидна са десне стране и ако је $\lim_{x \to +\infty} F(x) = 1$ а $\lim_{x \to -\infty} F(x) = 0$, тада постоји случајна променљива којој је $F(x)$ функција расподеле.

Расподеле

1. Бернулијева: $X \sim Bern(p)$ (Бернулијева расподела са вероватноћом успеха $p$)
   • Закон: $X: \begin{pmatrix} 0 & 1 \\ 1 - p & p \end{pmatrix}$
   • Модел: индикатор догађаја, $I_A = \left\{ \begin{matrix} 1, & \text{sa ver.} p = P(A) \\ 0, & \text{sa ver.} q = 1-p = P(\overline{A}) \end{matrix}\right.$
2. Биномна: $X \sim Bin(n, p), n \in \mathbb{N}, 0 < p < 1, X \in \{0, 1, ..., n\}$
   • Закон: $P(X = k) = \binom{n}{k} p^k q^{n-k}, q = 1 - p$
   • Модел: Бернулијева шема је низ Бернулијевих (независних) експеримената, и у сваком експерименту догађај $A$ има вероватноћу $P(A) = p$, а наша случајна променљива јесте број реализација догађаја $A$ у $n$ изведених експеримената.
3. Пуасонова: $X \sim Poiss(\lambda), \lambda > 0$
   • Закон: $P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!}$
   • Модел: број ретких догађаја у јединици времена, тако да је $\lambda$ просечан број догађаја
4. Геометријска: $X \sim G(p), X \in \mathbb{N}$
   • Закон: $P(X = n) = q^{n-1} p$
   • Модел: изводе се Бернулијеви експерименти до првог успеха, а наша случајна променљива је број неуспеха
5. Паскалова (обрнута биномна):
   • Закон: $P(X = n) = \binom{n-1}{k-1} p^k q^{n-k}$
   • Модел: број Бернулијевих експеримената до $k$-тог успеха.
6. Хипергеометријска:
   • Модел: на располагању је $n$ предмета од којих је $m$ једне а $n-m$ друге врсте, од њих бирамо $k$ предмета ($k < m, k < n-m$) и случајна променљива нам је број предмета прве врсте међу изабраним
   • Закон: $P(X = r) = \frac{\binom{m}{r}\binom{n-m}{k-r}}{\binom{n}{k}}$
7. (Дискретна) униформна:
   • Закон: $P(X = x_i) = \frac{1}{n}$, за $X = \{x_1, x_2, ..., x_n\}$
8. (Непрекидна) униформна: $X \sim Unif[a, b], a, b \in \mathbb{R}, a < b$
   • Закон: $f(x) = \left\{\begin{matrix} \frac{1}{b - a}, & x \in [a, b] \\ 0 & x \notin [a, b] \end{matrix}\right.$ ($X$ је концентрисана на $[a, b]$)
     • $F(x) = \left\{\begin{matrix} 0, & x < a \\ \frac{x - a}{b - a}, & a \leq x \leq b \\ 1, & x > b \end{matrix}\right.$
   • Модел: бирамо број из $[a, b]$, а случајна променљива нам је да ли је број у $[a, x]$ (где је $a < x < b$)
9. Експоненцијална: $X \sim Exp(\lambda), \lambda > 0$
   • Модел: време између Пуасонових догађаја, где је $\lambda$ реципрочно просечно време
   • Закон: $f(x) = \left\{\begin{matrix} \lambda e^{-ix}, & x \geq 0 \\ 0, & x < 0 \end{matrix}\right.$
     • $F(x) = \left\{\begin{matrix} 0, & x < 0 \\ 1 - e^{-ix}, & x \geq 0 \end{matrix}\right.$
   • Особина одсуства меморије: $P(X > s + t | X > s) = P(X > t), s, t > 0$

Случајни вектори

• Случајни вектор: скуп случајних променљивих дефинисаних на истом скупу исхода
• Заједнички закон расподеле: одређен је ако су познате све вероватноће $p_{ij} = P(X = x_i, Y = y_j)$ за све вредности $x_i$ и $y_j$ које случајне променљиве узимају
• Маргинални закони расподеле: појединачни закони расподеле случајних променљивих у вектору, добијени из заједничког закона као $P(X = x_i) = p_{i1} + p_{i2} + ...$
• Независност дискретних случајних променљивих: $X$ и $Y$ су независне ако важи $P(X = x_i, Y = y_i) = P(X = x_i) P(Y = y_1)$ за све вредности $x_i$ и $y_j$.