Verovatnoća i statistika/Teorija

Teorija sa predavanja može, pored zadataka, doći na kolokvijumima. Ispod je izlistana sažeta teorija, bez dodatnih primera, radi vežbanja za kolokvijum.

Uvod

Osnovni pojmovi

• Statistički eksperiment:
  • može da se ponovi više puta pod istim uslovima
  • poznati su nam svi mogući ishodi (notacija: $\omega$)
  • ne znamo unapred šta će se desiti u konkretnom eksperimentu
  • Skup svih ishoda (notacija: $\Omega$) može biti konačan (bacanje novčića), beskonačan, a ukoliko je beskonačan može biti prebrojiv (bacanje kocke dok ne padne 6) i neprebrojiv (biranje realnog broja iz intervala)
• Događaj: podskup $\Omega$ (notacija: $A$, $B$, ...)
  • Događaj se realizuje u eksperimentu ako se ostvari u jednom od ishoda koji su njegovi elementi.
  • Operacije nad događajima:
    • $A \cup B$: A ili B
    • $A \cdot B$: A i B (notacija za presek se ne koristi)
    • $A \setminus B$: A, ali ne B
    • $A'$, $\overline{A}$, $A^C$: suprotan događaj ($\Omega \setminus A$)

Verovatnoća

• Aksiome verovatnoće: Verovatnoća je funkcija $P$ definisana nad podskupovima nekog skupa $\Omega$ ako važi:
  1. $P(\Omega) = 1$
  2. $\forall A \subset \Omega, P(A) \in [0, 1]$
  3. $P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$, gde su $A_1, A_2, ... \subset \Omega$ koji su međusobno isključivi i kojih ima konačno ili prebrojivo beskonačno
• Statističko određivanje verovatnoće: izvodimo eksperiment $n$ puta i registrujemo događaj $A$, tako da nam je $m(n)$ broj realizacija događaja $A$:
  • relativna frekvencija događaja: $\frac{m(n)}{n}$
  • $P(A) = \lim_{n \to \infty} \frac{m(n)}{n}$
• Model jednakoverovatnosti ishoda: ako su svi ishodi iz skupa $\Omega$ jednakoverovatni a broj članova je $n$, onda se verovatnoća događaja $A \subset \Omega$ može odrediti kao količnik broja povoljnih i svih ishoda: $P(A) = \frac{|A|}{|\Omega|}$
• Geometrijska verovatnoća: za neprebrojiv skup $\Omega$ koji može da se predstavi geometrijski kao ograničeni objekat (interval prave, lik u ravni, telo u prostoru) i događaj $A \subset \Omega$ važi $P(A) = \frac{m(A)}{m(\Omega)}$ gde je $m$ mera tog objekta (dužina, površina, zapremina).
  • Uslov: jednakoverovatni događaji su predstavljeni skupovima iste mere i obrnuto

Osobine verovatnoće

• Teorema 1.1: $P(A') = 1 - P(A)$
  • Dokaz: kako su $A$ i $A'$ međusobno isključivi, važi $A \cup A' = \Omega$, pa iz $P(A \cup A') = P(\Omega)$ i trećeg aksioma verovatnoće dobijamo $P(A) + P(A') = 1$.
• Teorema 1.2: $P(\emptyset) = 0$
  • Dokaz: iz $\Omega' = \emptyset$ i teoreme 1.1 sledi da je $P(\emptyset) = 1 - P(\Omega) = 0$
• Teorema 1.3: $P(A \setminus B) = P(A) - P(AB)$
  • Dokaz:
    • Ako su A i B međusobno isključivi, važi da je $A \setminus B = A$, pa važi da je $P(A \setminus B) = P(A) = P(A) - P(\emptyset) = P(A) - P(AB)$
    • Ako nisu, važi da je $A = (A \setminus B) \cup AB$, pa iz trećeg aksioma dobijamo $P(A) = P(A \setminus B) + P(AB) \implies P(A \setminus B) = P(A) - P(AB)$
• Teorema 1.4: $A \subset B \implies P(A) \leq P(B)$
  • Dokaz: $P(B) = P(A) + P(B \setminus A)$, a pošto po drugoj aksiomi $P(B \setminus A)$ onda sledi $P(B) \geq P(A)$
• Teorema 1.5: $P(A \cup B) = P(A) + P(B) - P(AB)$
  • Dokaz:
    • Ako su međusobno isključivi, $P(AB) = 0$ tako da dokaz sledi po trećoj aksiomi
    • Ako nisu, $P(A \cup B) = P(A \setminus B) + P(B) = P(A) - P(AB) + P(B)$ po trećoj aksiomi i teoremi 1.3
  • Takođe važi i $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

Uslovna verovatnoća i nezavisnost događaja

Uslovna verovatnoća

• Uslovna verovatnoća događaja A pod uslovom da se realizovao događaj B: $P(A|B) = \frac{P(AB)}{P(B)}$ za $P(B) \neq 0$
• Teorema 2.1: Neka je $H \subset \Omega$ i $P(H) > 0$. Funkcija $P(...|H)$ je verovatnoća.
  • Dokaz:
    1. $P(\Omega|H) = \frac{P(\Omega H)}{P(H)} = 1$
    2. Za $A \subset \Omega$ važi $P(A|H) = \frac{P(AH)}{P(H)}$. Pošto je $P(AH) \geq 0$ i $P(H) > 0$, važi da je $P(A|H) \geq 0$. Pošto je $AH \subset H$, iz teoreme 1.4 sledi da je $P(AH) \leq P(H)$, odnosno $\frac{P(AH)}{P(H)} \leq 1$
    3. Ako su $A_1, A_2, ... \subset \Omega$ međusobno isključivi događaji kojih ima konačno ili prebrojivo mnogo, dobijamo $L = P(A_1 \cup A_2 \cup ...|A) = \frac{P((A_1 \cup A_2 \cup ...) \cdot H)}{P(H)} = \frac{P(A_1 H \cup A_2 H \cup ...)}{P(H)}$. Pošto su skupovi $A_1 H, A_2 H, ...$ međusobno isključivi, na osnovu treće aksiome sledi $L = \frac{P(A_1 H) + P(A_2 H) + ...}{P(H)} = P(A_1|H) + P(A_2|H) + ...$
    • Kako su dokazane sve tri aksiome verovatnoće, dokazano je i da je uslovna verovatnoća, takođe, verovatnoća.

Nezavisnost događaja

• Nezavisnost događaja: Događaji A i B su statistički nezavisni ako važi $P(AB) = P(A) P(B)$.
• Nezavisnost po parovima: Ako su svaka dva od $A_1, A_2, ..., A_n \subset \Omega$ (za $n > 2$) nezavisna, onda su ti događaji nezavisni po parovima.
• Nezavisnost više događaja u celini: Ako za svaki podskup $A_{i_1}, A_{i_2}, ... A_{i_k}$ skupa događaja $A_1, A_2, ..., A_n \subset \Omega$, gde je $2 \leq k < n$ važi $P(A_{i_1} \cdot A_{i_2} \cdot ... \cdot A_{i_k}) = P(A_{i_1}) \cdot ... \cdot P(A_{i_k})$, onda su događaji iz tog skupa međusobno nezavisni.
• Teorema 2.2: Ako su događaji $A_1, A_2, ..., A_n \subset \Omega$ nezavisni i ako je događaj $B$ dobijen od događaja $A_1, A_2, ..., A_k$ ($k < n$) primenom konačno mnogo skupovnih operacija, onda su i događaji $B, A_{n+1}, ..., A_n$ takođe nezavisni.
  • Dokaz: nije dokazivano.
• Teorema 2.3: Za događaje $A_1, A_2, ..., A_n \subset \Omega$ ($n \geq 2$) važi: $P(A_1 ... A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) ... P(A_n|A_1 A_2 ... A_{n-1})$
  • Dokaz: za $n = 2$ je ovo definicija uslovne verovatnoće, za ostatak se dokazuje indukcijom.
• Potpun skup hipoteza: Ako su događaji $H_1, H_2, ..., H_n$ međusobno isključivi i važi $H_1 \cup H_2 \cup ... \cup H_n = \Omega$ onda oni čine potpun skup hipoteza.
• Totalna verovatnoća: $P(A) = P(H_1) P(A|H_1) + P(H_2) P(A|H_2) + ...$
• Bajesova formula: Za $A \subset \Omega$, $P(A) \neq 0$ važi $P(H_i|A) = \frac{P(A|H_i) P(H_i)}{P(A)} = \frac{P(A|H_i) P(H_i)}{P(H_1) P(A|H_1) + P(A|H_2) A(H_2) + ... + P(A|H_n) P(H_n)}$
• Pouzdanost uređaja: verovatnoća da je uređaj ispravan, koja zavisi od pouzdanosti njegovih komponenti. Dve komponente mogu međusobno biti povezane redno ili paralelno, i u zavisnosti od toga određujemo ukupnu pouzdanost te dve komponente.
  • Redno: $P = P_1 \cdot P_2$
  • Paralelno: $P = 1 - (1 - P_1)(1 - P_2) = P_1 + P_2 - P_1 P_2$

Slučajne promenljive

• Slučajna promenljiva: preslikavanje skupa svih ishoda $\Omega$ u skup realnih brojeva.
  • Oznaka: $X \in \{x_1, x_2, ...\}$ gde je $\{x_1, x_2, ...\}$ skup svih brojeva u koje se preslikavaju ishodi.
  • Na osnovu prebrojivosti skupa $\{x_1, x_2, ...\}$ slučajne promenljive se dele na dve kategorije:
    • Diskretne: ukoliko je ovaj skup konačan ili prebrojiv, i
    • Neprekidne (mešovite): ukoliko je ovaj skup neprebrojiv.
• Raspodela slučajne promenljive: funkcija definisana nad skupovima realnih brojeva, $P_X(B) = P(X \in B), B \subset \mathbb{R}$
  • Zakon raspodele verovatnoće slučajne promenljive: za neku slučajnu promenljivu $X$, čiji je skup vrednosti $\{x_1, x_2, ...\}$, to je skup verovatnoća $\{p_1, p_2, ...\}$ gde je $p_i = P(X = x_i)$ za sve $x_i$
  • Oznaka: $X: \begin{pmatrix} x_1 & x_2 & ... \\ p_1 & p_2 & ... \end{pmatrix}$, tako da $\sum p_i = 1$

Raspodele

1. Bernulijeva: $X \sim Bern(p)$ (Bernulijeva raspodela sa verovatnoćom uspeha $p$)
   • Zakon: $X: \begin{pmatrix} 0 & 1 \\ 1 - p & p \end{pmatrix}$
   • Model: indikator događaja, $I_A = \left\{ \begin{matrix} 1, & \text{sa ver.} p = P(A) \\ 0, & \text{sa ver.} q = 1-p = P(\overline{A}) \end{matrix}\right.$
2. Binomna: $X \sim Bin(n, p), n \in \mathbb{N}, 0 < p < 1, X \in \{0, 1, ..., n\}$
   • Zakon: $P(X = k) = \binom{n}{k} p^k q^{n-k}, q = 1 - p$
   • Model: Bernulijeva šema je niz Bernulijevih (nezavisnih) eksperimenata, i u svakom eksperimentu događaj $A$ ima verovatnoću $P(A) = p$, a naša slučajna promenljiva jeste broj realizacija događaja $A$ u $n$ izvedenih eksperimenata.
3. Puasonova: $X \sim Poiss(\lambda), \lambda > 0$
   • Zakon: $P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!}$
   • Model: broj retkih događaja u jedinici vremena, tako da je $\lambda$ prosečan broj događaja
4. Geometrijska: $X \sim G(p), X \in \mathbb{N}$
   • Zakon: $P(X = n) = q^{n-1} p$
   • Model: izvode se Bernulijevi eksperimenti do prvog uspeha, a naša slučajna promenljiva je broj neuspeha
5. Paskalova (obrnuta binomna):
   • Zakon: $P(X = n) = \binom{n-1}{k-1} p^k q^{n-k}$
   • Model: broj Bernulijevih eksperimenata do $k$-tog uspeha.
6. Hipergeometrijska:
   • Model: na raspolaganju je $n$ predmeta od kojih je $m$ jedne a $n-m$ druge vrste, od njih biramo $k$ predmeta ($k < m, k < n-m$) i slučajna promenljiva nam je broj predmeta prve vrste među izabranim
   • Zakon: $P(X = r) = \frac{\binom{m}{r}\binom{n-m}{k-r}}{\binom{n}{k}}$
7. (Diskretna) uniformna:
   • Zakon: $P(X = x_i) = \frac{1}{n}$, za $X = \{x_1, x_2, ..., x_n\}$