Verovatnoća i statistika/Teorija

Teorija sa predavanja može, pored zadataka, doći na kolokvijumima. Ispod je izlistana sažeta teorija, bez dodatnih primera, radi vežbanja za kolokvijum.

Uvod

Osnovni pojmovi

• Statistički eksperiment:
  • može da se ponovi više puta pod istim uslovima
  • poznati su nam svi mogući ishodi (notacija: $\omega$)
  • ne znamo unapred šta će se desiti u konkretnom eksperimentu
  • Skup svih ishoda (notacija: $\Omega$) može biti konačan (bacanje novčića), beskonačan, a ukoliko je beskonačan može biti prebrojiv (bacanje kocke dok ne padne 6) i neprebrojiv (biranje realnog broja iz intervala)
• Događaj: podskup $\Omega$ (notacija: $A$, $B$, ...)
  • Događaj se realizuje u eksperimentu ako se ostvari u jednom od ishoda koji su njegovi elementi.
  • Operacije nad događajima:
    • $A \cup B$: A ili B
    • $A \cdot B$: A i B (notacija za presek se ne koristi)
    • $A \setminus B$: A, ali ne B
    • $A'$, $\overline{A}$, $A^C$: suprotan događaj ($\Omega \setminus A$)

Verovatnoća

• Aksiome verovatnoće: Verovatnoća je funkcija $P$ definisana nad podskupovima nekog skupa $\Omega$ ako važi:
  1. $P(\Omega) = 1$
  2. $\forall A \subset \Omega, P(A) \in [0, 1]$
  3. $P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$, gde su $A_1, A_2, ... \subset \Omega$ koji su međusobno isključivi i kojih ima konačno ili prebrojivo beskonačno
• Statističko određivanje verovatnoće: izvodimo eksperiment $n$ puta i registrujemo događaj $A$, tako da nam je $m(n)$ broj realizacija događaja $A$:
  • relativna frekvencija događaja: $\frac{m(n)}{n}$
  • $P(A) = \lim_{n \to \infty} \frac{m(n)}{n}$
• Model jednakoverovatnosti ishoda: ako su svi ishodi iz skupa $\Omega$ jednakoverovatni a broj članova je $n$, onda se verovatnoća događaja $A \subset \Omega$ može odrediti kao količnik broja povoljnih i svih ishoda: $P(A) = \frac{|A|}{|\Omega|}$
• Geometrijska verovatnoća: za neprebrojiv skup $\Omega$ koji može da se predstavi geometrijski kao ograničeni objekat (interval prave, lik u ravni, telo u prostoru) i događaj $A \subset \Omega$ važi $P(A) = \frac{m(A)}{m(\Omega)}$ gde je $m$ mera tog objekta (dužina, površina, zapremina).
  • Uslov: jednakoverovatni događaji su predstavljeni skupovima iste mere i obrnuto

Osobine verovatnoće

• Teorema 1.1: $P(A') = 1 - P(A)$
  • Dokaz: kako su $A$ i $A'$ međusobno isključivi, važi $A \cup A' = \Omega$, pa iz $P(A \cup A') = P(\Omega)$ i trećeg aksioma verovatnoće dobijamo $P(A) + P(A') = 1$.
• Teorema 1.2: $P(\emptyset) = 0$
  • Dokaz: iz $\Omega' = \emptyset$ i teoreme 1.1 sledi da je $P(\emptyset) = 1 - P(\Omega) = 0$
• Teorema 1.3: $P(A \setminus B) = P(A) - P(AB)$
  • Dokaz:
    • Ako su A i B međusobno isključivi, važi da je $A \setminus B = A$, pa važi da je $P(A \setminus B) = P(A) = P(A) - P(\emptyset) = P(A) - P(AB)$
    • Ako nisu, važi da je $A = (A \setminus B) \cup AB$, pa iz trećeg aksioma dobijamo $P(A) = P(A \setminus B) + P(AB) \implies P(A \setminus B) = P(A) - P(AB)$
• Teorema 1.4: $A \subset B \implies P(A) \leq P(B)$
  • Dokaz: $P(B) = P(A) + P(B \setminus A)$, a pošto po drugoj aksiomi $P(B \setminus A)$ onda sledi $P(B) \geq P(A)$
• Teorema 1.5: $P(A \cup B) = P(A) + P(B) - P(AB)$
  • Dokaz:
    • Ako su međusobno isključivi, $P(AB) = 0$ tako da dokaz sledi po trećoj aksiomi
    • Ako nisu, $P(A \cup B) = P(A \setminus B) + P(B) = P(A) - P(AB) + P(B)$ po trećoj aksiomi i teoremi 1.3
  • Takođe važi i $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

Uslovna verovatnoća i nezavisnost događaja

Uslovna verovatnoća

• Uslovna verovatnoća događaja A pod uslovom da se realizovao događaj B: $P(A|B) = \frac{P(AB)}{P(B)}$ za $P(B) \neq 0$
• Teorema 2.1: Neka je $H \subset \Omega$ i $P(H) > 0$. Funkcija $P(...|H)$ je verovatnoća.
  • Dokaz:
    1. $P(\Omega|H) = \frac{P(\Omega H)}{P(H)} = 1$
    2. Za $A \subset \Omega$ važi $P(A|H) = \frac{P(AH)}{P(H)}$. Pošto je $P(AH) \geq 0$ i $P(H) > 0$, važi da je $P(A|H) \geq 0$. Pošto je $AH \subset H$, iz teoreme 1.4 sledi da je $P(AH) \leq P(H)$, odnosno $\frac{P(AH)}{P(H)} \leq 1$
    3. Ako su $A_1, A_2, ... \subset \Omega$ međusobno isključivi događaji kojih ima konačno ili prebrojivo mnogo, dobijamo $L = P(A_1 \cup A_2 \cup ...|A) = \frac{P((A_1 \cup A_2 \cup ...) \cdot H)}{P(H)} = \frac{P(A_1 H \cup A_2 H \cup ...)}{P(H)}$. Pošto su skupovi $A_1 H, A_2 H, ...$ međusobno isključivi, na osnovu treće aksiome sledi $L = \frac{P(A_1 H) + P(A_2 H) + ...}{P(H)} = P(A_1|H) + P(A_2|H) + ...$
    • Kako su dokazane sve tri aksiome verovatnoće, dokazano je i da je uslovna verovatnoća, takođe, verovatnoća.

Nezavisnost događaja

• Nezavisnost događaja: Događaji A i B su statistički nezavisni ako važi $P(AB) = P(A) P(B)$.
• Nezavisnost po parovima: Ako su svaka dva od $A_1, A_2, ..., A_n \subset \Omega$ (za $n > 2$) nezavisna, onda su ti događaji nezavisni po parovima.
• Nezavisnost više događaja u celini: Ako za svaki podskup $A_{i_1}, A_{i_2}, ... A_{i_k}$ skupa događaja $A_1, A_2, ..., A_n \subset \Omega$, gde je $2 \leq k < n$ važi $P(A_{i_1} \cdot A_{i_2} \cdot ... \cdot A_{i_k}) = P(A_{i_1}) \cdot ... \cdot P(A_{i_k})$, onda su događaji iz tog skupa međusobno nezavisni.
• Teorema 2.2: Ako su događaji $A_1, A_2, ..., A_n \subset \Omega$ nezavisni i ako je događaj $B$ dobijen od događaja $A_1, A_2, ..., A_k$ ($k < n$) primenom konačno mnogo skupovnih operacija, onda su i događaji $B, A_{n+1}, ..., A_n$ takođe nezavisni.
  • Dokaz: nije dokazivano.
• Teorema 2.3: Za događaje $A_1, A_2, ..., A_n \subset \Omega$ ($n \geq 2$) važi: $P(A_1 ... A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) ... P(A_n|A_1 A_2 ... A_{n-1})$
  • Dokaz: za $n = 2$ je ovo definicija uslovne verovatnoće, za ostatak se dokazuje indukcijom.
• Potpun skup hipoteza: Ako su događaji $H_1, H_2, ..., H_n$ međusobno isključivi i važi $H_1 \cup H_2 \cup ... \cup H_n = \Omega$ onda oni čine potpun skup hipoteza.
• Totalna verovatnoća: $P(A) = P(H_1) P(A|H_1) + P(H_2) P(A|H_2) + ...$
• Bajesova formula: Za $A \subset \Omega$, $P(A) \neq 0$ važi $P(H_i|A) = \frac{P(A|H_i) P(H_i)}{P(A)} = \frac{P(A|H_i) P(H_i)}{P(H_1) P(A|H_1) + P(A|H_2) A(H_2) + ... + P(A|H_n) P(H_n)}$
• Pouzdanost uređaja: verovatnoća da je uređaj ispravan, koja zavisi od pouzdanosti njegovih komponenti. Dve komponente mogu međusobno biti povezane redno ili paralelno, i u zavisnosti od toga određujemo ukupnu pouzdanost te dve komponente.
  • Redno: $P = P_1 \cdot P_2$
  • Paralelno: $P = 1 - (1 - P_1)(1 - P_2) = P_1 + P_2 - P_1 P_2$

Slučajne promenljive

• Slučajna promenljiva: preslikavanje skupa svih ishoda $\Omega$ u skup realnih brojeva.
  • Oznaka: $X \in \{x_1, x_2, ...\}$ gde je $\{x_1, x_2, ...\}$ skup svih brojeva u koje se preslikavaju ishodi.
  • Na osnovu prebrojivosti skupa $\{x_1, x_2, ...\}$ slučajne promenljive se dele na dve kategorije:
    • Diskretne: ukoliko je ovaj skup konačan ili prebrojiv, i
    • Neprekidne (mešovite): ukoliko je ovaj skup neprebrojiv.
• Raspodela slučajne promenljive: funkcija definisana nad skupovima realnih brojeva, $P_X(B) = P(X \in B), B \subset \mathbb{R}$
  • Zakon raspodele verovatnoće slučajne promenljive: za neku slučajnu promenljivu $X$, čiji je skup vrednosti $\{x_1, x_2, ...\}$, to je skup verovatnoća $\{p_1, p_2, ...\}$ gde je $p_i = P(X = x_i)$ za sve $x_i$
  • Oznaka: $X: \begin{pmatrix} x_1 & x_2 & ... \\ p_1 & p_2 & ... \end{pmatrix}$, tako da $\sum p_i = 1$

Neprekidne slučajne promenljive

• Funkcija raspodele: $F(x) = P(X \leq x)$, za $x \in \mathbb{R}$
• Osobine funkcije raspodele:
  1. $(\forall x \in \mathbb{R}) F(x) \in [0, 1]$
  2. $F(x)$ je monotono neopadajuća funkcija
  3. $F(x)$ je neprekidna sa desne strane za svako $x \in \mathbb{R}$
  4. $F(x)$ ima graničnu vrednost sa leve strane u svakoj tački $x \in \mathbb{R}$
  5. $\lim_{x \to -\infty} F(x) = 0, \lim_{x \to +\infty} F(x) = 1$
• Funkcija gustine raspodele: ako je $f(x)$ nenegativna funkcija definisana na $\mathbb{R}$ i važi $(\forall x \in \mathbb{R}) F(x) = \int_{-\infty}^x f(t) dt$, onda je $X$ neprekidna slučajna promenljiva a $f(x)$ njena funkcija gustine raspodele.
  • $X$ je neprekidna $\implies F(x)$ je neprekidna
  • Ako $f(x)$ ima konačno ili prebrojivo mnogo tačaka prekida, u njima se $f(x)$ može definisati proizvoljno.
• Teorema 3.1: Za neprekidnu slučajnu promenljivu $X$ važi:
  1. $(\forall a \in \mathbb{R}) P(X = a) = 0$
     • Dokaz: $P(X = a) = F(a) - F(a^{-}) = 0$
  2. $(\forall a, b \in \mathbb{R}, a < b) P(X \in (a, b)) = \int_a^b f(t) dt = P(X \in [a, b)) = P(X \in (a, b]) = P(X \in [a, b])$
     • Dokaz: ako integral predstavimo površinom ispod funkcije, nije nam bitno da li izbacimo nula, jednu ili dve duži iz te površine.
  3. $P(x < a) = P(x \leq a)$ i $P(x > a) = P(x \geq a)$
  4. $\int_{-\infty}^{+\infty} f(x) dx = 1$
• Teorema 3.2: ako je $F(x)$ definisana na $\mathbb{R}$, neprekidna sa desne strane i ako je $\lim_{x \to +\infty} F(x) = 1$ a $\lim_{x \to -\infty} F(x) = 0$, tada postoji slučajna promenljiva kojoj je $F(x)$ funkcija raspodele.

Raspodele

1. Bernulijeva: $X \sim Bern(p)$ (Bernulijeva raspodela sa verovatnoćom uspeha $p$)
   • Zakon: $X: \begin{pmatrix} 0 & 1 \\ 1 - p & p \end{pmatrix}$
   • Model: indikator događaja, $I_A = \left\{ \begin{matrix} 1, & \text{sa ver.} p = P(A) \\ 0, & \text{sa ver.} q = 1-p = P(\overline{A}) \end{matrix}\right.$
2. Binomna: $X \sim Bin(n, p), n \in \mathbb{N}, 0 < p < 1, X \in \{0, 1, ..., n\}$
   • Zakon: $P(X = k) = \binom{n}{k} p^k q^{n-k}, q = 1 - p$
   • Model: Bernulijeva šema je niz Bernulijevih (nezavisnih) eksperimenata, i u svakom eksperimentu događaj $A$ ima verovatnoću $P(A) = p$, a naša slučajna promenljiva jeste broj realizacija događaja $A$ u $n$ izvedenih eksperimenata.
3. Puasonova: $X \sim Poiss(\lambda), \lambda > 0$
   • Zakon: $P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!}$
   • Model: broj retkih događaja u jedinici vremena, tako da je $\lambda$ prosečan broj događaja
4. Geometrijska: $X \sim G(p), X \in \mathbb{N}$
   • Zakon: $P(X = n) = q^{n-1} p$
   • Model: izvode se Bernulijevi eksperimenti do prvog uspeha, a naša slučajna promenljiva je broj neuspeha
5. Paskalova (obrnuta binomna):
   • Zakon: $P(X = n) = \binom{n-1}{k-1} p^k q^{n-k}$
   • Model: broj Bernulijevih eksperimenata do $k$-tog uspeha.
6. Hipergeometrijska:
   • Model: na raspolaganju je $n$ predmeta od kojih je $m$ jedne a $n-m$ druge vrste, od njih biramo $k$ predmeta ($k < m, k < n-m$) i slučajna promenljiva nam je broj predmeta prve vrste među izabranim
   • Zakon: $P(X = r) = \frac{\binom{m}{r}\binom{n-m}{k-r}}{\binom{n}{k}}$
7. (Diskretna) uniformna:
   • Zakon: $P(X = x_i) = \frac{1}{n}$, za $X = \{x_1, x_2, ..., x_n\}$
8. (Neprekidna) uniformna: $X \sim Unif[a, b], a, b \in \mathbb{R}, a < b$
   • Zakon: $f(x) = \left\{\begin{matrix} \frac{1}{b - a}, & x \in [a, b] \\ 0 & x \notin [a, b] \end{matrix}\right.$ ($X$ je koncentrisana na $[a, b]$)
     • $F(x) = \left\{\begin{matrix} 0, & x < a \\ \frac{x - a}{b - a}, & a \leq x \leq b \\ 1, & x > b \end{matrix}\right.$
   • Model: biramo broj iz $[a, b]$, a slučajna promenljiva nam je da li je broj u $[a, x]$ (gde je $a < x < b$)
9. Eksponencijalna: $X \sim Exp(\lambda), \lambda > 0$
   • Model: vreme između Puasonovih događaja, gde je $\lambda$ recipročno prosečno vreme
   • Zakon: $f(x) = \left\{\begin{matrix} \lambda e^{-\lambda x}, & x \geq 0 \\ 0, & x < 0 \end{matrix}\right.$
     • $F(x) = \left\{\begin{matrix} 0, & x < 0 \\ 1 - e^{-\lambda x}, & x \geq 0 \end{matrix}\right.$
   • Osobina odsustva memorije: $P(X > s + t | X > s) = P(X > t), s, t > 0$
10. Standardna normalna (standardna Gausova): $Z \sim \mathcal{N}(0, 1)$
    • Zakon: $f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$
      • $\Phi(x) = \int_{-\infty}^x = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} dx$ (neizračunljivo, ali se računa na osnovu tablice, s tim što $x \geq 3.5 \implies \Phi(x) \approx 1$ i $x < 0 \implies \Phi(-x) + \Phi(x) = 1$)

Vrednosti $\Phi(x)$ (primer: $\Phi(1.43) = 0.9236$)

X	0	1	2	3	4	5	6	7	8	9
0.0	5000	5040	5080	5120	5160	5199	5239	5279	5319	5359
0.1	5398	5438	5478	5517	5557	5596	5636	5675	5714	5753
0.2	5793	5832	5871	5910	5948	5987	6026	6064	6103	6141
0.3	6179	6217	6255	6293	6331	6368	6406	6443	6480	6517
0.4	6554	6591	6628	6664	6700	6736	6772	6808	6844	6879
0.5	6915	6950	6985	7019	7054	7088	7123	7157	7190	7224
0.6	7257	7291	7324	7357	7389	7422	7454	7486	7517	7549
0.7	7580	7611	7642	7673	7704	7734	7764	7794	7823	7852
0.8	7881	7910	7939	7967	7995	8023	8051	8078	8106	8133
0.9	8i59	8186	8212	8238	8264	8289	8315	8340	8365	8389
1.0	8413	8438	8461	8485	8508	8531	8554	8577	8599	8621
1.1	8643	8665	8686	8708	8729	8749	8770	8790	8810	8830
1.2	8849	8869	8888	8907	8925	8944	8962	8980	8997	9015
1.3	9032	9049	9066	9082	9099	9115	9131	9147	9162	9177
1.4	9192	9207	9222	9236	9251	9265	9279	9292	9306	9319
1.5	9332	9345	9357	9370	9382	9394	9406	9418	9429	9441
1.6	9452	9463	9474	9484	9495	9505	9515	9525	9535	9545
1.7	9554	9564	9573	9582	9591	9599	9608	9616	9625	9633
1.8	9641	9649	9656	9664	9671	9678	9686	9693	9699	9706
1.9	9713	9719	9726	9732	9738	9744	9790	9756	9761	9767
2.0	97725	97778	97831	97882	97932	97982	98030	98077	98124	98169
2.1	982i4	98257	98300	98341	98382	98422	98461	98500	98537	98574
2.2	98610	98645	98679	98713	98745	98778	98809	98840	98870	98899
2.3	98928	98956	98983	99010	99036	99061	99086	99111	99134	99158
2.4	99180	99202	99224	99245	99266	99286	99305	99324	99343	99361
2.5	99379	99396	99413	99430	99446	99461	99477	99492	99506	99520
2.6	99534	99547	99560	99573	99585	99598	99609	99621	99632	99643
2.7	99653	99664	99674	99683	99693	99702	99711	99720	99728	99736
2.8	99744	99752	99760	99767	99774	99781	99788	99795	99801	99807
2.9	99813	99819	99825	99831	99836	99841	99846	99851	99856	99861
3.0	998650	998694	998736	998777	998817	998856	998893	998930	998965	998999
3.1	999032	999065	999096	999126	999155	999184	999211	999238	999264	999289
3.2	999313	999336	999359	999381	999402	999423	999443	999462	999481	999499
3.3	999517	999534	999550	999566	999581	999596	999610	999624	999638	999651
3.4	999663	999675	999687	999698	999709	999720	999730	999740	999749	999758

Slučajni vektori

• Slučajni vektor: skup slučajnih promenljivih definisanih na istom skupu ishoda
• Zajednički zakon raspodele: određen je ako su poznate sve verovatnoće $p_{ij} = P(X = x_i, Y = y_j)$ za sve vrednosti $x_i$ i $y_j$ koje slučajne promenljive uzimaju
• Marginalni zakoni raspodele: pojedinačni zakoni raspodele slučajnih promenljivih u vektoru, dobijeni iz zajedničkog zakona kao $P(X = x_i) = p_{i1} + p_{i2} + ...$
• Zajednička funkcija raspodele: $F(x, y) = P(X \leq x, Y \leq y)$ za sve $x, y \in \mathbb{R}$
• Zajednička funkcija gustine: Ako postoji nenegativna funkcija $f(x, y)$ definisana za $X, Y \in \mathbb{R}$ takva da $(\forall (x, y) \in \mathbb{R}^2) F(x, y) = \int_{-\infty}^x \int_{-\infty}^y f(x, y) dx dy$ onda je $(X, Y)$ neprekidan slučajni vektor a $f(x, y)$ njegova zajednička gustina. Njene osobine su:
  1. $\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) = 1$
  2. $f(x, y) = \frac{\partial^2 F(x, y)}{\partial x \partial y}$
  3. $P((X, Y) \in D) = \int_D \int_D f(x, y) dx dy$
• Marginalne funkcije gustine: $f_X(x) = \int_{-\infty}^{+\infty} f(x, y) dy$

Nezavisnost slučajnih promenljivih

• $X_1, X_2, ..., X_n$ su nezavisne ako su događaji $X_1 \in A_1, X_2 \in A_2, ...X_n \in A_n$ nezavisni za sve moguće $A_1, A_2, ..., A_n \subset \mathbb{R}$
• Uslovi nezavisnosti:
  1. Ako u svakoj tački $(x, y) \in \mathbb{R}^2$ važi $F(x, y) = F_X(x) F_Y(y)$ gde je $F$ zajednička funkcija raspodele a $F_X, F_Y$ su marginalne funkcije raspodele.
  2. Ako su $X$ i $Y$ diskretne i važi $P(X = x_i, Y = y_i) = P(X = x_i) P(Y = y_1)$ za sve vrednosti $x_i$ i $y_j$.
  3. Ako su $X$ i $Y$ neprekidne i važi $(\forall (x, y) \in \mathbb{R}^2) f(x, y) = f_X(x) f_Y(y)$ gde je $f$ zajednička funkcija gustine a $f_X, f_Y$ su marginalne funkcije gustine.

Varijacioni niz

• Ako su $X_1, X_2, ... X_n$ nezavisne slučajne promenljive sa istom raspodelom koje označavaju vrednosti dobijene u nekim događajima (na primer, rezultati bacanja kockice), onda promenljive $X_{(1)}, X_{(2)}, ... X_{(n)}$ koje nose vrednost najmanje od ovih promenljivih, druge najmanje od ovih promenljivih, ... redom čine varijacioni niz.
  • Promenljive varijacionog niza nemaju istu raspodelu kao originalne slučajne promenljive, i više nisu nezavisne.
• Funkcija raspodele $k$-te slučajne promenljive varijacionog niza: $F_k(x) = \sum_{j = k}^n \binom{n}{j} F(x)^j (1 - F(x))^{n - j}$
• Specijalni slučajevi:
  • Funkcija raspodele najmanje slučajne promenljive varijacionog niza: $F_{min}(x) = 1 - (1 - F(x))^n$
  • Funkcija raspodele najveće slučajne promenljive varijacionog niza: $F_{max}(x) = 1 - (F(x))^n$

Numeričke karakteristike slučajnih promenljivih

Matematičko očekivanje

• Za diskretnu slučajnu promenljivu $X$ sa konačnim skupom vrednosti $\{x_1, x_2, ..., x_n\}$, matematičko očekivanje je definisano sa $EX = \sum_{k = 1}^n x_k P(X = x_k)$
• Za diskretnu slučajnu promenljivu $X$ sa beskonačnim skupom vrednosti, matematičko očekivanje je definisano sa $EX = \sum_k x_k P(X = x_k)$ (pod uslovom da ovaj red apsolutno konvergira)
• Za neprekidnu slučajnu promenljivu $X$ sa gustinom $f(x)$, matematičko očekivanje je definisano sa $EX = \int_{-\infty}^{+\infty} xf(x)dx$ (pod uslovom da ovaj integral apsolutno konvergira)
• Teorema 4.1: Neka je $X$ neprekidna slučajna promenljiva sa gustinom $f(x)$ i $g$ funkcija za koju postoji $E(g(X))$. Tada je: $E(g(X)) = \int_{-\infty}^{+\infty} g(x) f(x) dx$.
• Teorema 4.2: Neka su $X$ i $Y$ slučajne promenljive sa očekivanjima $EX$ i $EY$, a $a, b, c \in \mathbb{R}$. Tada važi:
  1. $E(c) = c$
  2. $E(aX) = aEX$
  3. $E(X + Y) = EX + EY$
  4. Ako su $X$ i $Y$ nezavisne, onda je $E(XY) = EX EY$

Varijansa

• Varijansa (disperzija): za promenljivu $X$ sa očekivanjem $EX$, varijansa je $VarX = E(X - EX)^2$
  • Standardna devijacija (standardno odstupanje): $S.D.(X) = \sqrt{VarX}$
• Osobine varijanse za $a, c \in \mathbb{R}$:
  1. $Var(c) = 0$
     • Dokaz: $Var(c) = E(c - E(c))^2 = E(c - c)^2 = 0$
  2. $VarX = 0 \implies P(X = c) = 1$ za neko $c$
     • Dokaz: nije dokazivano.
  3. $VarX = E(X^2) - (EX)^2$
     • Dokaz: $VarX = E(X - EX)^2 =$$E(X^2 - 2EX \cdot X + (EX)^2) =$$E(X^2) + E(-2EX \cdot X) + E((EX)^2) =$$E(X^2) - 2EX \cdot EX + (EX)^2 =$$E(X^2) - (EX)^2$
  4. $Var(X + a) = VarX$
  5. $Var(aX) = a^2 VarX$
  6. Ako su $X$ i $Y$ nezavisne sa konačnim varijansama, onda je $Var(X + Y) = VarX + VarY$
• Kovarijansa: $Cov(X, Y) = E[(X - EX)(Y - EY)]$ (odstupanje od očekivane vrednosti obe promenljive)
  • Teorema 4.3: $Cov(X, Y) = E(XY) - EX \cdot EY$
    • Dokaz: $Cov(X, Y) =$$E(XY - EX \cdot Y - X \cdot EY + EX \cdot EY) =$$E(XY) + E(-EX \cdot Y) + E(-X \cdot EY) + E(EX \cdot EY) =$$E(XY) - EX \cdot EY - EY \cdot EX + EX \cdot EY =$$E(XY) - EX \cdot EY$
  • Teorema 4.4: $Var(X + Y) = VarX + VarY + 2Cov(X, Y)$
    • Dokaz: $Var(X + Y) =$$E(X + Y - E(X + Y))^2 =$$E(X + Y - EX - EY)^2 =$$E((X - EX) + (Y - EY))^2 =$$E((X - EX)^2 + 2(X - EX)(Y - EY) + (Y - EY)^2) =$$VarX + VarY + 2Cov(X, Y)$
• Osobine kovarijanse za nezavisne promenljive $X, Y, Z$ i $a, b \in \mathbb{R}$:
  1. Ako su $X$ i $Y$ nezavisne, $Cov(X, Y) = 0$.
  2. $Cov(X, Y) = Cov(Y, X)$
  3. $Cov(X, X) = VarX$
  4. $Cov(aX, bY) = abCov(X, Y)$
  5. $Cov(X + Y, Z) = Cov(X, Z) + Cov(Y, Z)$
  6. $Cov(X + a, Y + b) = Cov(X, Y)$
• Koeficijent korelacije: $\rho(X, Y) = \frac{Cov(X, Y)}{\sqrt{VarX} \sqrt{VarY} }$ (za $VarX, VarY > 0$)
  • Teorema 4.5:
    1. $-1 \leq \rho(X, Y) \leq 1$
       • Dokaz: uočimo slučajnu promenljivu $\frac{X}{\sqrt{VarX} } + \frac{Y}{\sqrt{VarY} }$. $0 \leq Var\left(\frac{X}{\sqrt{VarX} } + \frac{Y}{\sqrt{VarY} }\right) =$$Var\left(\frac{X}{\sqrt{VarX} }\right) + Var\left(\frac{Y}{\sqrt{VarY} }\right) + 2Cov\left(\frac{X}{\sqrt{VarX} }, \frac{Y}{\sqrt{VarY} }\right) =$$\frac{1}{\sqrt{VarX}^2} \cdot VarX + \frac{1}{\sqrt{VarY}^2} \cdot VarY + \frac{2}{\sqrt{VarX} \cdot \sqrt{VarY} } Cov(X, Y) =$$2 + 2\rho(X, Y)$. Kako je $2 + 2\rho(X, Y) \geq 0$, onda važi $\rho \geq -1$. Analogno tome, ukoliko uočimo slučajnu promenljivu sa - umesto + dobijamo $\rho \leq 1$.
    2. $\rho(X, Y) = \pm 1$ ako i samo ako $P(Y = aX + b) = 1$, gde je Рашчлањивање није успело (Conversion error. Server ("cli") reported: "[INVALID]"): {\displaystyle a \neq 0, b \in \mathbb{R}, \sgn a = \sgn \rho(X, Y)}
    3. $\rho(aX + b, cY + d) = \pm \rho(X, Y)$ za $a, c \in \mathbb{R} \setminus \{0\}, b, d \in \mathbb{R}$, gde se uzima znak plus ako je $ac$ pozitivno, a minus u suprotnom
  • Korelacija:
    • $\rho(X, Y) = 0 \implies$ promenljive su nekorelisane
    • $\rho(X, Y) > 0 \implies$ promenljive su pozitivno korelisane
    • $\rho(X, Y) < 0 \implies$ promenljive su negativno korelisane
  • Momenti:
    • $E(X^k)$: momenat reda $k$
    • $E|X|^k$: apsolutni momenat reda $k$
    • $E(X - EX)^k$: centralni momenat reda $k$
  • Kvantili: za datu slučajnu promenljivu $X$ sa raspodelom $F(x)$, kvantil reda $p$ je svaki broj $x$ za koji važi $F(x^-) \leq p \leq F(x)$.
    • Za svaku raspodelu i za svako $p$ postoji bar jedan kvantil tog reda.
    • Oznaka: $\varepsilon_p$
    • $\varepsilon_{\frac{1}{2} }$: medijana (mera srednje vrednosti)
    • $\varepsilon_{\frac{1}{4} }$: prvi kvartil
    • $\varepsilon_{\frac{3}{4} }$: drugi kvartil

Numeričke karakteristike raspodela

Numeričke karakteristike čestih raspodela

Raspodela	Matematičko očekivanje	Varijansa
$Bern(p)$	$p$	$qp$
$Bin(n, p)$	$np$	$npq$
$Poiss(\lambda)$	$\lambda$	$\lambda$
$Exp(\lambda)$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
$Unif(a, b)$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
$\mathcal{N}(\mu, \sigma^2)$	$\mu$	$\sigma^2$

Karakteristične funkcije

• Definiše se kao $\varphi_X(t) = Ee^{itX}$.
  • Za diskretno $X$: $\varphi_X = \sum_k e^{itx_k} P(X = x_k)$ za sve vrednosti $x_k$
  • Za neprekidno $X$: $\varphi_X = \int_{-\infty}^{+\infty} e^{itx} f(x) dx$, gde $f(x)$ označava gustinu
• Teorema 5.1:
  1. Za svaku slučajnu promenljivu postoji odgovarajuća karakteristična funkcija
  2. Različitim karakterističnim funkcijama odgovaraju različite raspodele i obrnuto
  3. Za svaku slučajnu promenljivu i svaka dva realna ili kompleksna broja važi $\varphi_{aX+b}(t) = e^{ibt} \varphi_X(at)$
  4. Ako slučajna promenljiva ima moment reda $n$ tada važi $E(X^n) = i^{-n} \varphi^{(n)}(0)$
  5. Za dve slučajne promenljive važi $\varphi_{X + Y}(t) = \varphi_X(t) \varphi_Y(t)$
     • Dokaz: $\varphi_{X + Y}(t) = Ee^{it(X+Y)} = Ee^{itX} Ee^{itY} = \varphi_X(t) \varphi_Y(t)$

Granične teoreme

• Niz slučajnih promenljivih $\{X_n\}$:
  • strogo konvergira (konvergira skoro svuda) ka $X$ ako $P\left(\lim_{n \to \infty} X_n = X\right) = 1$
  • konvergira u verovatnoći ka $X$ ako je $\lim_{n \to \infty} P\left(\left|X_n - X\right|\geq \varepsilon\right) = 0$ za svako $\varepsilon > 0$
  • konvergira u raspodeli (slabo konvergira) ka $X$ ako $\lim_{n \to \infty} F_{X_n}(x) = F_X(x)$ u svakoj tački $x \in \mathbb{R}$ u kojoj je $F_X(x)$ neprekidna
  • $L_p$-konvergira ka $X$ za $p \geq 1$ ako $\lim_{n \to \infty} E\left|X_n - X\right|^p = 0$
    • Za $p = 2$ se kaže da konvergira u srednjem kvadratnom ka $X$
• Iz stroge konvergencije sledi konvergencija u verovatnoći, iz konvergencije u verovatnoći sledi konvergencija u raspodeli, a iz $L_p$ konvergencije takođe sledi konvergencija u verovatnoći.
• Teorema 6.1: (teorema o neprekidnosti) Neka je $X_n$ niz slučajnih promenljivih sa karakterističnim funkcijama $\varphi_n$ i neka je $X$ slučajna promenljiva sa karakterističnom funkcijom $\varphi$. Niz $X_n$ konvergira u raspodeli ka $X$ ako i samo ako je $\lim_{n \to \infty} \varphi_n(t) = \varphi(t)$ za svako $t \in \mathbb{R}$.
• Teorema 6.2: (aproksimacija binomne raspodele Puasonovom) ako $X \sim Bin(n, p)$ i ako $np < 5, n \geq 30$ onda $X \sim Poiss(np)$
• Teorema 6.3: (nejednakost Markova) ako je $X$ nenegativna slučajna promenljiva i postoji $EX$, onda $P(X \geq \varepsilon) \leq \frac{EX}{\varepsilon}$ za svako $\varepsilon > 0$
• Teorema 6.4: (nejednakost Čebiševa) ako postoji $VarX$, tada je $P\left(\left|X - EX\right| \geq \varepsilon\right) \leq \frac{VarX}{\varepsilon^2}$ za svako $\varepsilon > 0$
  • Dokaz: na osnovu nejednakosti Markova, $P\left(\left|X - EX\right| \geq \varepsilon\right) = P((X - EX)^2 \geq \varepsilon^2) \leq \frac{E(X - EX)^2}{\varepsilon^2} = \frac{VarX}{\varepsilon^2}$
• Teorema 6.5: (slabi zakon velikih brojeva) Neka su $X_1, X_2...$ nezavisne slučajne promenljive sa istim očekivanjem $\mu$ i sa konačnim varijansama $VarX_k \leq V$ za svako $k \in \mathbb{N}$, gde je $V$ pozitivna konstanta. Tada niz aritmetičkih sredina $\frac{X_1 + ... + X_n}{n}$ konvergira u verovatnoći ka $\mu$.
• Teorema 6.6: (Borelov strogi zakon velikih brojeva) Ako je $S_n$ broj uspeha u $n$ Bernulijevih eksperimenata sa verovatnoćom uspeha $p$. tada je $P\left(\lim_{n \to \infty} \frac{S_n}{n} = p\right) = 1$
• Teorema 6.7: (Kolomogorovljev strogi zakon velikih brojeva)
  1. Ako su $X_1, ..., X_n$ nezavisne slučajne promenljive sa istom raspodelom i očekivanjem $\mu$, tada važi $P\left(\lim_{n \to \infty} \frac{X_1 + ... + X_n}{n} = \mu\right) = 1$
  2. Ako su $X_1, ..., X_n$ nezavisne slučajne promenljive sa istom raspodelom i ako postoji $b$ takav da je $P\left(\lim_{n \to \infty} \frac{X_1 + ... + X_n}{n} = b\right) = 1$, tada sve promenljive imaju očekivanje $b$
• Teorema 6.8: (centralna granična teorema) Ako su $X_1, X_2...$ nezavisne, sa istom raspodelom, očekivanjem $\mu$ i konačnim varijansama $\sigma^2$, tada $Z_n = \frac{X_1 + ... + X_n - n\mu}{\sigma \sqrt{n} }$ konvergira u raspodeli ka $Z \sim \mathcal{N}(0, 1)$.
  • U praksi mora da važi $n \geq 30$.
• Teorema 6.9: (aproksimacija binomne raspodele normalnom, Moavr-Laplasova teorema) Ako je $X \sim Bin(n, p)$ i $Z_n = \frac{X - np}{\sqrt{npq} }$ tada $Z_n$ konvergira u raspodeli ka $Z \sim \mathcal{N}(0, 1)$
  • Dokaz: sledi iz centralne granične teoreme, $X = X_1 + ... + X_n, X_1, ..., X_n \sim Bern(p)$
• Aproksimacija Puasonove raspodele normalnom: $X \sim Poiss(\lambda), \lambda \geq 10 \implies X \sim \mathcal{N}(\lambda, \lambda)$

Statistika

Osnovni pojmovi

• Populacija: skup $\Omega$ elemenata $\omega$ (paralela iz verovatnoće: skup ishoda)
• Obeležje: numerička osobina $X(\omega)$ elemenata $\omega \in \Omega$ (paralela iz verovatnoće: slučajna promenljiva)
• Statistički eksperiment (u praksi): registrovanje vrednosti $X$ na nekom (pravom) podskupu skupa $\Omega$, koji nazivamo uzorak. Na osnovu uzorka donosimo zaključke o raspodeli $X$.
• Slučajni uzorak dimenzije $n$ je skup nezavisnih slučajnih promenljivih sa istom raspodelom.
  • Realizovani uzorak predstavlja realizovane vrednosti slučajnih promenljivih u posmatranom eksperimentu.
• Statistika je slučajna promenljiva $f(X_1, X_2, ..., X_n)$ koja zavisi samo od slučajnih promenljivih iz uzorka, ne i od nepoznatih parametara raspodele.
  • Njena raspodela sme da zavisi od ovih parametara.
  • Realizovana vrednost statistike: $f(x_1, x_2, ..., x_n)$

Ocene parametara

• Obeležje $X$ ima raspodelu $P_{\theta}$ koja zavisi od skupa parametara $\theta \in \Theta$.
  • $\Theta$: skup dopustivih raspodela
  • $P_{\theta}$: familija raspodela
  • Ako ne znamo $\theta$ možemo da biramo uzorak i na osnovu njega ocenjujemo $\theta$.

Tačkasta ocena

• Realizovana vrednost statistike $\hat{\theta}(X_1, ..., X_n)$
• Karakteristike:
  1. $\hat{\theta}(X_1, ..., X_n)$ je centrirana (nepristrasna) ako je $E\hat{\theta} = \theta$ za svako $\theta$.
  2. $\hat{\theta}(X_1, ..., X_n)$ je asimptotski nepristrasna ako $E\hat{\theta} \to_{n \to \infty} \theta$.
  3. $\hat{\theta}(X_1, ..., X_n)$ je stabilna (postojana) ako konvergira u verovatnoći ka $\theta$.
  4. Ako su $\hat{\theta_1}$ i $\hat{\theta_2}$ dve ocene istog parametra $\theta$, $\hat{\theta_1}$ je bolja od $\hat{\theta_2}$ ako je $E(\hat{\theta_1} - \theta)^2 \leq E(\hat{\theta_2} - \theta)^2$ s tim što stroga nejednakost važi za bar jedno $\theta$.
  5. Ako su $\hat{\theta_1}$ i $\hat{\theta_2}$ dve ocene istog parametra $\theta$, kažemo da je $\hat{\theta_1}$ efikasnije od $\hat{\theta_2}$ ako je $Var\hat{\theta_1} \leq Var\hat{\theta_2}$ s tim što stroga nejednakost važi za bar jedno $\theta$.

Intervalna ocena

• Interval poverenja: je interval koji, za dat uzorak obima $n$ iz raspodele $P_{\theta}$, sadrži nepoznati parametar $\theta$ sa verovatnoćom $1-\alpha$.
  • Dvostrani interval poverenja: $[A, B]$
  • Jednostrani interval poverenja: $(-\infty, B]$ ili $[A, +\infty)$
  • $A$ i $B$ su statistike.
• Studentova $t$-raspodela:
  • $f(x) = \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi} \Gamma\left(\frac{n}{2}\right)} \left(1 + \frac{x^2}{n}\right)^{-\frac{n+1}{2}}$
  • Gama funkcija: $\Gamma(x) = \int_0^{+\infty} e^{-t} t^{x-1} dt$
    • $\Gamma(x+1) = x\Gamma(x) \implies \Gamma(n) = (n-1)!$
    • $\Gamma(1) = 1$
    • $\Gamma\left(\frac{1}{2}\right) = \sqrt{\pi}$
  • Za $n \geq 30$ možemo aproksimirati sa $\mathcal{N}(0, 1)$
  • Teorema 7.1: Ako su $X_1, ..., X_n \sim \mathcal{N}(\mu, \sigma^2)$ sa nepoznatim $\mu$ i $\sigma$, neka je $\hat{\mu} = \frac{X_1 + ... + X_n}{n}$ i $s^2 = \frac{1}{n-1} \sum_{k = 1}^n (X_k - \hat{\mu})^2$, tada važi $\frac{\hat{\mu} - \mu}{\frac{s}{\sqrt{n}}} \sim t(n-1)$.
• Hi kvadrat raspodela:
  • $f(x) = \begin{cases} \frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} x^{\frac{n}{2} - 1} e^{-\frac{x}{2}}, & x > 0 \\ 0, & x \leq 0 \end{cases}$
  • Teorema 7.2: Ako su $Z_1, Z_2, ..., Z_n \sim \mathcal{N}(0, 1)$, njihov zbir ima raspodelu $\chi^2(n)$.
  • Teorema 7.3: Ako su $X_1, X_2, ..., X_n \sim \mathcal{N}(\mu, \sigma^2)$ sa nepoznatim $\sigma^2$:
    • Ako je $\mu$ poznato: $\frac{nS_0^2}{\sigma^2} \sim \chi^2(n)$
    • Ako je $\mu$ nepoznato: $\frac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)$

Procena nepoznatih parametara u intervalima poverenja kod $\mathcal{N}(\mu, \sigma^2)$.

Procena		Dvostrani interval	Jednostrani interval
Procena nepoznatog $\mu$	Poznato $\sigma^2$	$\mu \in \left[\hat{\mu} - \varepsilon_{1 - \frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}, \hat{\mu} + \varepsilon_{1 - \frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}\right]$	$\mu \in \left(-\infty, \hat{\mu} + \varepsilon_{1 - \alpha} \frac{\sigma}{\sqrt{n}}\right]$ ili $\mu \in \left[\hat{\mu} - \varepsilon_{1 - \alpha} \frac{\sigma}{\sqrt{n}}, +\infty\right)$
	Nepoznato $\sigma^2$	Procenjujemo $\sigma^2$: $s^2 = \frac{1}{n-1} \sum_{k = 1}^n (X_k - \hat{\mu})^2$, $\frac{\hat{\mu} - \mu}{\frac{s}{\sqrt{n}}} \sim t(n-1)$
		$\mu \in \left[\hat{\mu} - \varepsilon_{1 - \frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \hat{\mu} + \varepsilon_{1 - \frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]$	$\mu \in \left(-\infty, \hat{\mu} + \varepsilon_{1 - \alpha} \frac{s}{\sqrt{n}}\right]$ ili $\mu \in \left[\hat{\mu} - \varepsilon_{1 - \alpha} \frac{s}{\sqrt{n}}, +\infty\right)$
Procena nepoznatog $\sigma^2$	Poznato $\mu$	$\sigma^2 \in \left[\frac{nS_0^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, \frac{nS_0^2}{\varepsilon_{\frac{\alpha}{2}}}\right]$, kvantili iz $\chi^2(n)$	$\sigma^2 \in \left[0, \frac{nS_0^2}{\varepsilon_{\alpha}}\right]$ ili $\sigma^2 \in \left[\frac{nS_0^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, +\infty\right)$, kvantili iz $\chi^2(n)$
	Nepoznato $\mu$	$\sigma^2 \in \left[\frac{(n-1)s^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, \frac{(n-1)s^2}{\varepsilon_{\frac{\alpha}{2}}}\right]$, kvantili iz $\chi^2(n)$	$\sigma^2 \in \left[0, \frac{(n-1)s^2}{\varepsilon_{\alpha}}\right]$ ili $\sigma^2 \in \left[\frac{(n-1)s^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, +\infty\right)$, kvantili iz $\chi^2(n)$

• Ako raspodela nije $\mathcal{N}(\mu, \sigma^2)$, za $n > 30$ važi centralna granična teorema, tako da možemo aproksimirati interval poverenja kao za normalnu raspodelu.