Verovatnoća i statistika/Teorija

Teorija sa predavanja može, pored zadataka, doći na kolokvijumima. Ispod je izlistana sažeta teorija, bez dodatnih primera, radi vežbanja za kolokvijum.

Uvod

Osnovni pojmovi

• Statistički eksperiment:
  • može da se ponovi više puta pod istim uslovima
  • poznati su nam svi mogući ishodi (notacija: $\omega$)
  • ne znamo unapred šta će se desiti u konkretnom eksperimentu
  • Skup svih ishoda (notacija: $\Omega$) može biti konačan (bacanje novčića), beskonačan, a ukoliko je beskonačan može biti prebrojiv (bacanje kocke dok ne padne 6) i neprebrojiv (biranje realnog broja iz intervala)
• Događaj: podskup $\Omega$ (notacija: $A$, $B$, ...)
  • Događaj se realizuje u eksperimentu ako se ostvari u jednom od ishoda koji su njegovi elementi.
  • Operacije nad događajima:
    • $A \cup B$: A ili B
    • $A \cdot B$: A i B (notacija za presek se ne koristi)
    • $A \setminus B$: A, ali ne B
    • $A'$, $\overline{A}$, $A^C$: suprotan događaj ($\Omega \setminus A$)

Verovatnoća

• Aksiome verovatnoće: Verovatnoća je funkcija $P$ definisana nad podskupovima nekog skupa $\Omega$ ako važi:
  1. $P(\Omega) = 1$
  2. $\forall A \subset \Omega, P(A) \in [0, 1]$
  3. $P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$, gde su $A_1, A_2, ... \subset \Omega$ koji su međusobno isključivi i kojih ima konačno ili prebrojivo beskonačno
• Statističko određivanje verovatnoće: izvodimo eksperiment $n$ puta i registrujemo događaj $A$, tako da nam je $m(n)$ broj realizacija događaja $A$:
  • relativna frekvencija događaja: $\frac{m(n)}{n}$
  • $P(A) = \lim_{n \to \infty} \frac{m(n)}{n}$
• Model jednakoverovatnosti ishoda: ako su svi ishodi iz skupa $\Omega$ jednakoverovatni a broj članova je $n$, onda se verovatnoća događaja $A \subset \Omega$ može odrediti kao količnik broja povoljnih i svih ishoda: $P(A) = \frac{|A|}{|\Omega|}$
• Geometrijska verovatnoća: za neprebrojiv skup $\Omega$ koji može da se predstavi geometrijski kao ograničeni objekat (interval prave, lik u ravni, telo u prostoru) i događaj $A \subset \Omega$ važi $P(A) = \frac{m(A)}{m(\Omega)}$ gde je $m$ mera tog objekta (dužina, površina, zapremina).
  • Uslov: jednakoverovatni događaji su predstavljeni skupovima iste mere i obrnuto

Osobine verovatnoće

• Teorema 1.1: $P(A') = 1 - P(A)$
  • Dokaz: kako su $A$ i $A'$ međusobno isključivi, važi $A \cup A' = \Omega$, pa iz $P(A \cup A') = P(\Omega)$ i trećeg aksioma verovatnoće dobijamo $P(A) + P(A') = 1$.
• Teorema 1.2: $P(\emptyset) = 0$
  • Dokaz: iz $\Omega' = \emptyset$ i teoreme 1.1 sledi da je $P(\emptyset) = 1 - P(\Omega) = 0$
• Teorema 1.3: $P(A \setminus B) = P(A) - P(AB)$
  • Dokaz:
    • Ako su A i B međusobno isključivi, važi da je $A \setminus B = A$, pa važi da je $P(A \setminus B) = P(A) = P(A) - P(\emptyset) = P(A) - P(AB)$
    • Ako nisu, važi da je $A = (A \setminus B) \cup AB$, pa iz trećeg aksioma dobijamo $P(A) = P(A \setminus B) + P(AB) \implies P(A \setminus B) = P(A) - P(AB)$
• Teorema 1.4: $A \subset B \implies P(A) \leq P(B)$
  • Dokaz: $P(B) = P(A) + P(B \setminus A)$, a pošto po drugoj aksiomi $P(B \setminus A)$ onda sledi $P(B) \geq P(A)$
• Teorema 1.5: $P(A \cup B) = P(A) + P(B) - P(AB)$
  • Dokaz:
    • Ako su međusobno isključivi, $P(AB) = 0$ tako da dokaz sledi po trećoj aksiomi
    • Ako nisu, $P(A \cup B) = P(A \setminus B) + P(B) = P(A) - P(AB) + P(B)$ po trećoj aksiomi i teoremi 1.3
  • Takođe važi i $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

Uslovna verovatnoća i nezavisnost događaja

Uslovna verovatnoća

• Uslovna verovatnoća događaja A pod uslovom da se realizovao događaj B: $P(A|B) = \frac{P(AB)}{P(B)}$ za $P(B) \neq 0$
• Teorema 2.1: Neka je $H \subset \Omega$ i $P(H) > 0$. Funkcija $P(...|H)$ je verovatnoća.
  • Dokaz:
    1. $P(\Omega|H) = \frac{P(\Omega H)}{P(H)} = 1$
    2. Za $A \subset \Omega$ važi $P(A|H) = \frac{P(AH)}{P(H)}$. Pošto je $P(AH) \geq 0$ i $P(H) > 0$, važi da je $P(A|H) \geq 0$. Pošto je $AH \subset H$, iz teoreme 1.4 sledi da je $P(AH) \leq P(H)$, odnosno $\frac{P(AH)}{P(H)} \leq 1$
    3. Ako su $A_1, A_2, ... \subset \Omega$ međusobno isključivi događaji kojih ima konačno ili prebrojivo mnogo, dobijamo $L = P(A_1 \cup A_2 \cup ...|A) = \frac{P((A_1 \cup A_2 \cup ...) \cdot H)}{P(H)} = \frac{P(A_1 H \cup A_2 H \cup ...)}{P(H)}$. Pošto su skupovi $A_1 H, A_2 H, ...$ međusobno isključivi, na osnovu treće aksiome sledi $L = \frac{P(A_1 H) + P(A_2 H) + ...}{P(H)} = P(A_1|H) + P(A_2|H) + ...$
    • Kako su dokazane sve tri aksiome verovatnoće, dokazano je i da je uslovna verovatnoća, takođe, verovatnoća.

Nezavisnost događaja

• Nezavisnost događaja: Događaji A i B su statistički nezavisni ako važi $P(AB) = P(A) P(B)$.
• Nezavisnost po parovima: Ako su svaka dva od $A_1, A_2, ..., A_n \subset \Omega$ (za $n > 2$) nezavisna, onda su ti događaji nezavisni po parovima.
• Nezavisnost više događaja u celini: Ako za svaki podskup $A_{i_1}, A_{i_2}, ... A_{i_k}$ skupa događaja $A_1, A_2, ..., A_n \subset \Omega$, gde je $2 \leq k < n$ važi $P(A_{i_1} \cdot A_{i_2} \cdot ... \cdot A_{i_k}) = P(A_{i_1}) \cdot ... \cdot P(A_{i_k})$, onda su događaji iz tog skupa međusobno nezavisni.
• Teorema 2.2: Ako su događaji $A_1, A_2, ..., A_n \subset \Omega$ nezavisni i ako je događaj $B$ dobijen od događaja $A_1, A_2, ..., A_k$ ($k < n$) primenom konačno mnogo skupovnih operacija, onda su i događaji $B, A_{n+1}, ..., A_n$ takođe nezavisni.
  • Dokaz: nije dokazivano.
• Teorema 2.3: Za događaje $A_1, A_2, ..., A_n \subset \Omega$ ($n \geq 2$) važi: $P(A_1 ... A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) ... P(A_n|A_1 A_2 ... A_{n-1})$
  • Dokaz: za $n = 2$ je ovo definicija uslovne verovatnoće, za ostatak se dokazuje indukcijom.
• Potpun skup hipoteza: Ako su događaji $H_1, H_2, ..., H_n$ međusobno isključivi i važi $H_1 \cup H_2 \cup ... \cup H_n = \Omega$ onda oni čine potpun skup hipoteza.
• Totalna verovatnoća: $P(A) = P(H_1) P(A|H_1) + P(H_2) P(A|H_2) + ...$
• Bajesova formula: Za $A \subset \Omega$, $P(A) \neq 0$ važi $P(H_i|A) = \frac{P(A|H_i) P(H_i)}{P(A)} = \frac{P(A|H_i) P(H_i)}{P(H_1) P(A|H_1) + P(A|H_2) A(H_2) + ... + P(A|H_n) P(H_n)}$