Вероватноћа и статистика/Теорија

Теорија са предавања може, поред задатака, доћи на колоквијумима. Испод је излистана сажета теорија, без додатних примера, ради вежбања за колоквијум.

Увод

Основни појмови

• Статистички експеримент:
  • може да се понови више пута под истим условима
  • познати су нам сви могући исходи (нотација: $\omega$)
  • не знамо унапред шта ће се десити у конкретном експерименту
  • Скуп свих исхода (нотација: $\Omega$) може бити коначан (бацање новчића), бесконачан, а уколико је бесконачан може бити пребројив (бацање коцке док не падне 6) и непребројив (бирање реалног броја из интервала)
• Догађај: подскуп $\Omega$ (нотација: $A$, $B$, ...)
  • Догађај се реализује у експерименту ако се оствари у једном од исхода који су његови елементи.
  • Операције над догађајима:
    • $A \cup B$: A или B
    • $A \cdot B$: A и B (нотација за пресек се не користи)
    • $A \setminus B$: A, али не B
    • $A'$, $\overline{A}$, $A^C$: супротан догађај ($\Omega \setminus A$)

Вероватноћа

• Аксиоме вероватноће: Вероватноћа је функција $P$ дефинисана над подскуповима неког скупа $\Omega$ ако важи:
  1. $P(\Omega) = 1$
  2. $\forall A \subset \Omega, P(A) \in [0, 1]$
  3. $P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$, где су $A_1, A_2, ... \subset \Omega$ који су међусобно искључиви и којих има коначно или пребројиво бесконачно
• Статистичко одређивање вероватноће: изводимо експеримент $n$ пута и региструјемо догађај $A$, тако да нам је $m(n)$ број реализација догађаја $A$:
  • релативна фреквенција догађаја: $\frac{m(n)}{n}$
  • $P(A) = \lim_{n \to \infty} \frac{m(n)}{n}$
• Модел једнаковероватности исхода: ако су сви исходи из скупа $\Omega$ једнаковероватни а број чланова је $n$, онда се вероватноћа догађаја $A \subset \Omega$ може одредити као количник броја повољних и свих исхода: $P(A) = \frac{|A|}{|\Omega|}$
• Геометријска вероватноћа: за непребројив скуп $\Omega$ који може да се представи геометријски као ограничени објекат (интервал праве, лик у равни, тело у простору) и догађај $A \subset \Omega$ важи $P(A) = \frac{m(A)}{m(\Omega)}$ где је $m$ мера тог објекта (дужина, површина, запремина).
  • Услов: једнаковероватни догађаји су представљени скуповима исте мере и обрнуто

Особине вероватноће

• Теорема 1.1: $P(A') = 1 - P(A)$
  • Доказ: како су $A$ и $A'$ међусобно искључиви, важи $A \cup A' = \Omega$, па из $P(A \cup A') = P(\Omega)$ и трећег аксиома вероватноће добијамо $P(A) + P(A') = 1$.
• Теорема 1.2: $P(\emptyset) = 0$
  • Доказ: из $\Omega' = \emptyset$ и теореме 1.1 следи да је $P(\emptyset) = 1 - P(\Omega) = 0$
• Теорема 1.3: $P(A \setminus B) = P(A) - P(AB)$
  • Доказ:
    • Ако су A и B међусобно искључиви, важи да је $A \setminus B = A$, па важи да је $P(A \setminus B) = P(A) = P(A) - P(\emptyset) = P(A) - P(AB)$
    • Ако нису, важи да је $A = (A \setminus B) \cup AB$, па из трећег аксиома добијамо $P(A) = P(A \setminus B) + P(AB) \implies P(A \setminus B) = P(A) - P(AB)$
• Теорема 1.4: $A \subset B \implies P(A) \leq P(B)$
  • Доказ: $P(B) = P(A) + P(B \setminus A)$, а пошто по другој аксиоми $P(B \setminus A)$ онда следи $P(B) \geq P(A)$
• Теорема 1.5: $P(A \cup B) = P(A) + P(B) - P(AB)$
  • Доказ:
    • Ако су међусобно искључиви, $P(AB) = 0$ тако да доказ следи по трећој аксиоми
    • Ако нису, $P(A \cup B) = P(A \setminus B) + P(B) = P(A) - P(AB) + P(B)$ по трећој аксиоми и теореми 1.3
  • Такође важи и $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

Условна вероватноћа и независност догађаја

Условна вероватноћа

• Условна вероватноћа догађаја A под условом да се реализовао догађај B: $P(A|B) = \frac{P(AB)}{P(B)}$ за $P(B) \neq 0$
• Теорема 2.1: Нека је $H \subset \Omega$ и $P(H) > 0$. Функција $P(...|H)$ је вероватноћа.
  • Доказ:
    1. $P(\Omega|H) = \frac{P(\Omega H)}{P(H)} = 1$
    2. За $A \subset \Omega$ важи $P(A|H) = \frac{P(AH)}{P(H)}$. Пошто је $P(AH) \geq 0$ и $P(H) > 0$, важи да је $P(A|H) \geq 0$. Пошто је $AH \subset H$, из теореме 1.4 следи да је $P(AH) \leq P(H)$, односно $\frac{P(AH)}{P(H)} \leq 1$
    3. Ако су $A_1, A_2, ... \subset \Omega$ међусобно искључиви догађаји којих има коначно или пребројиво много, добијамо $L = P(A_1 \cup A_2 \cup ...|A) = \frac{P((A_1 \cup A_2 \cup ...) \cdot H)}{P(H)} = \frac{P(A_1 H \cup A_2 H \cup ...)}{P(H)}$. Пошто су скупови $A_1 H, A_2 H, ...$ међусобно искључиви, на основу треће аксиоме следи $L = \frac{P(A_1 H) + P(A_2 H) + ...}{P(H)} = P(A_1|H) + P(A_2|H) + ...$
    • Како су доказане све три аксиоме вероватноће, доказано је и да је условна вероватноћа, такође, вероватноћа.

Независност догађаја

• Независност догађаја: Догађаји A и B су статистички независни ако важи $P(AB) = P(A) P(B)$.
• Независност по паровима: Ако су свака два од $A_1, A_2, ..., A_n \subset \Omega$ (за $n > 2$) независна, онда су ти догађаји независни по паровима.
• Независност више догађаја у целини: Ако за сваки подскуп $A_{i_1}, A_{i_2}, ... A_{i_k}$ скупа догађаја $A_1, A_2, ..., A_n \subset \Omega$, где је $2 \leq k < n$ важи $P(A_{i_1} \cdot A_{i_2} \cdot ... \cdot A_{i_k}) = P(A_{i_1}) \cdot ... \cdot P(A_{i_k})$, онда су догађаји из тог скупа међусобно независни.
• Теорема 2.2: Ако су догађаји $A_1, A_2, ..., A_n \subset \Omega$ независни и ако је догађај $B$ добијен од догађаја $A_1, A_2, ..., A_k$ ($k < n$) применом коначно много скуповних операција, онда су и догађаји $B, A_{n+1}, ..., A_n$ такође независни.
  • Доказ: није доказивано.
• Теорема 2.3: За догађаје $A_1, A_2, ..., A_n \subset \Omega$ ($n \geq 2$) важи: $P(A_1 ... A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) ... P(A_n|A_1 A_2 ... A_{n-1})$
  • Доказ: за $n = 2$ је ово дефиниција условне вероватноће, за остатак се доказује индукцијом.
• Потпун скуп хипотеза: Ако су догађаји $H_1, H_2, ..., H_n$ међусобно искључиви и важи $H_1 \cup H_2 \cup ... \cup H_n = \Omega$ онда они чине потпун скуп хипотеза.
• Тотална вероватноћа: $P(A) = P(H_1) P(A|H_1) + P(H_2) P(A|H_2) + ...$
• Бајесова формула: За $A \subset \Omega$, $P(A) \neq 0$ важи $P(H_i|A) = \frac{P(A|H_i) P(H_i)}{P(A)} = \frac{P(A|H_i) P(H_i)}{P(H_1) P(A|H_1) + P(A|H_2) A(H_2) + ... + P(A|H_n) P(H_n)}$