Вероватноћа и статистика/Теорија

Теорија са предавања може, поред задатака, доћи на колоквијумима. Испод је излистана сажета теорија, без додатних примера, ради вежбања за колоквијум.

Увод

Основни појмови

• Статистички експеримент:
  • може да се понови више пута под истим условима
  • познати су нам сви могући исходи (нотација: $\omega$)
  • не знамо унапред шта ће се десити у конкретном експерименту
  • Скуп свих исхода (нотација: $\Omega$) може бити коначан (бацање новчића), бесконачан, а уколико је бесконачан може бити пребројив (бацање коцке док не падне 6) и непребројив (бирање реалног броја из интервала)
• Догађај: подскуп $\Omega$ (нотација: $A$, $B$, ...)
  • Догађај се реализује у експерименту ако се оствари у једном од исхода који су његови елементи.
  • Операције над догађајима:
    • $A \cup B$: A или B
    • $A \cdot B$: A и B (нотација за пресек се не користи)
    • $A \setminus B$: A, али не B
    • $A'$, $\overline{A}$, $A^C$: супротан догађај ($\Omega \setminus A$)

Вероватноћа

• Аксиоме вероватноће: Вероватноћа је функција $P$ дефинисана над подскуповима неког скупа $\Omega$ ако важи:
  1. $P(\Omega) = 1$
  2. $\forall A \subset \Omega, P(A) \in [0, 1]$
  3. $P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$, где су $A_1, A_2, ... \subset \Omega$ који су међусобно искључиви и којих има коначно или пребројиво бесконачно
• Статистичко одређивање вероватноће: изводимо експеримент $n$ пута и региструјемо догађај $A$, тако да нам је $m(n)$ број реализација догађаја $A$:
  • релативна фреквенција догађаја: $\frac{m(n)}{n}$
  • $P(A) = \lim_{n \to \infty} \frac{m(n)}{n}$
• Модел једнаковероватности исхода: ако су сви исходи из скупа $\Omega$ једнаковероватни а број чланова је $n$, онда се вероватноћа догађаја $A \subset \Omega$ може одредити као количник броја повољних и свих исхода: $P(A) = \frac{|A|}{|\Omega|}$
• Геометријска вероватноћа: за непребројив скуп $\Omega$ који може да се представи геометријски као ограничени објекат (интервал праве, лик у равни, тело у простору) и догађај $A \subset \Omega$ важи $P(A) = \frac{m(A)}{m(\Omega)}$ где је $m$ мера тог објекта (дужина, површина, запремина).
  • Услов: једнаковероватни догађаји су представљени скуповима исте мере и обрнуто

Особине вероватноће

• Теорема 1.1: $P(A') = 1 - P(A)$
  • Доказ: како су $A$ и $A'$ међусобно искључиви, важи $A \cup A' = \Omega$, па из $P(A \cup A') = P(\Omega)$ и трећег аксиома вероватноће добијамо $P(A) + P(A') = 1$.
• Теорема 1.2: $P(\emptyset) = 0$
  • Доказ: из $\Omega' = \emptyset$ и теореме 1.1 следи да је $P(\emptyset) = 1 - P(\Omega) = 0$
• Теорема 1.3: $P(A \setminus B) = P(A) - P(AB)$
  • Доказ:
    • Ако су A и B међусобно искључиви, важи да је $A \setminus B = A$, па важи да је $P(A \setminus B) = P(A) = P(A) - P(\emptyset) = P(A) - P(AB)$
    • Ако нису, важи да је $A = (A \setminus B) \cup AB$, па из трећег аксиома добијамо $P(A) = P(A \setminus B) + P(AB) \implies P(A \setminus B) = P(A) - P(AB)$
• Теорема 1.4: $A \subset B \implies P(A) \leq P(B)$
  • Доказ: $P(B) = P(A) + P(B \setminus A)$, а пошто по другој аксиоми $P(B \setminus A)$ онда следи $P(B) \geq P(A)$
• Теорема 1.5: $P(A \cup B) = P(A) + P(B) - P(AB)$
  • Доказ:
    • Ако су међусобно искључиви, $P(AB) = 0$ тако да доказ следи по трећој аксиоми
    • Ако нису, $P(A \cup B) = P(A \setminus B) + P(B) = P(A) - P(AB) + P(B)$ по трећој аксиоми и теореми 1.3
  • Такође важи и $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

Условна вероватноћа и независност догађаја

Условна вероватноћа

• Условна вероватноћа догађаја A под условом да се реализовао догађај B: $P(A|B) = \frac{P(AB)}{P(B)}$ за $P(B) \neq 0$
• Теорема 2.1: Нека је $H \subset \Omega$ и $P(H) > 0$. Функција $P(...|H)$ је вероватноћа.
  • Доказ:
    1. $P(\Omega|H) = \frac{P(\Omega H)}{P(H)} = 1$
    2. За $A \subset \Omega$ важи $P(A|H) = \frac{P(AH)}{P(H)}$. Пошто је $P(AH) \geq 0$ и $P(H) > 0$, важи да је $P(A|H) \geq 0$. Пошто је $AH \subset H$, из теореме 1.4 следи да је $P(AH) \leq P(H)$, односно $\frac{P(AH)}{P(H)} \leq 1$
    3. Ако су $A_1, A_2, ... \subset \Omega$ међусобно искључиви догађаји којих има коначно или пребројиво много, добијамо $L = P(A_1 \cup A_2 \cup ...|A) = \frac{P((A_1 \cup A_2 \cup ...) \cdot H)}{P(H)} = \frac{P(A_1 H \cup A_2 H \cup ...)}{P(H)}$. Пошто су скупови $A_1 H, A_2 H, ...$ међусобно искључиви, на основу треће аксиоме следи $L = \frac{P(A_1 H) + P(A_2 H) + ...}{P(H)} = P(A_1|H) + P(A_2|H) + ...$
    • Како су доказане све три аксиоме вероватноће, доказано је и да је условна вероватноћа, такође, вероватноћа.

Независност догађаја

• Независност догађаја: Догађаји A и B су статистички независни ако важи $P(AB) = P(A) P(B)$.
• Независност по паровима: Ако су свака два од $A_1, A_2, ..., A_n \subset \Omega$ (за $n > 2$) независна, онда су ти догађаји независни по паровима.
• Независност више догађаја у целини: Ако за сваки подскуп $A_{i_1}, A_{i_2}, ... A_{i_k}$ скупа догађаја $A_1, A_2, ..., A_n \subset \Omega$, где је $2 \leq k < n$ важи $P(A_{i_1} \cdot A_{i_2} \cdot ... \cdot A_{i_k}) = P(A_{i_1}) \cdot ... \cdot P(A_{i_k})$, онда су догађаји из тог скупа међусобно независни.
• Теорема 2.2: Ако су догађаји $A_1, A_2, ..., A_n \subset \Omega$ независни и ако је догађај $B$ добијен од догађаја $A_1, A_2, ..., A_k$ ($k < n$) применом коначно много скуповних операција, онда су и догађаји $B, A_{n+1}, ..., A_n$ такође независни.
  • Доказ: није доказивано.
• Теорема 2.3: За догађаје $A_1, A_2, ..., A_n \subset \Omega$ ($n \geq 2$) важи: $P(A_1 ... A_n) = P(A_1) P(A_2|A_1) P(A_3|A_1 A_2) ... P(A_n|A_1 A_2 ... A_{n-1})$
  • Доказ: за $n = 2$ је ово дефиниција условне вероватноће, за остатак се доказује индукцијом.
• Потпун скуп хипотеза: Ако су догађаји $H_1, H_2, ..., H_n$ међусобно искључиви и важи $H_1 \cup H_2 \cup ... \cup H_n = \Omega$ онда они чине потпун скуп хипотеза.
• Тотална вероватноћа: $P(A) = P(H_1) P(A|H_1) + P(H_2) P(A|H_2) + ...$
• Бајесова формула: За $A \subset \Omega$, $P(A) \neq 0$ важи $P(H_i|A) = \frac{P(A|H_i) P(H_i)}{P(A)} = \frac{P(A|H_i) P(H_i)}{P(H_1) P(A|H_1) + P(A|H_2) A(H_2) + ... + P(A|H_n) P(H_n)}$
• Поузданост уређаја: вероватноћа да је уређај исправан, која зависи од поузданости његових компоненти. Две компоненте могу међусобно бити повезане редно или паралелно, и у зависности од тога одређујемо укупну поузданост те две компоненте.
  • Редно: $P = P_1 \cdot P_2$
  • Паралелно: $P = 1 - (1 - P_1)(1 - P_2) = P_1 + P_2 - P_1 P_2$

Случајне променљиве

• Случајна променљива: пресликавање скупа свих исхода $\Omega$ у скуп реалних бројева.
  • Ознака: $X \in \{x_1, x_2, ...\}$ где је $\{x_1, x_2, ...\}$ скуп свих бројева у које се пресликавају исходи.
  • На основу пребројивости скупа $\{x_1, x_2, ...\}$ случајне променљиве се деле на две категорије:
    • Дискретне: уколико је овај скуп коначан или пребројив, и
    • Непрекидне (мешовите): уколико је овај скуп непребројив.
• Расподела случајне променљиве: функција дефинисана над скуповима реалних бројева, $P_X(B) = P(X \in B), B \subset \mathbb{R}$
  • Закон расподеле вероватноће случајне променљиве: за неку случајну променљиву $X$, чији је скуп вредности $\{x_1, x_2, ...\}$, то је скуп вероватноћа $\{p_1, p_2, ...\}$ где је $p_i = P(X = x_i)$ за све $x_i$
  • Ознака: $X: \begin{pmatrix} x_1 & x_2 & ... \\ p_1 & p_2 & ... \end{pmatrix}$, тако да $\sum p_i = 1$

Непрекидне случајне променљиве

• Функција расподеле: $F(x) = P(X \leq x)$, за $x \in \mathbb{R}$
• Особине функције расподеле:
  1. $(\forall x \in \mathbb{R}) F(x) \in [0, 1]$
  2. $F(x)$ је монотоно неопадајућа функција
  3. $F(x)$ је непрекидна са десне стране за свако $x \in \mathbb{R}$
  4. $F(x)$ има граничну вредност са леве стране у свакој тачки $x \in \mathbb{R}$
  5. $\lim_{x \to -\infty} F(x) = 0, \lim_{x \to +\infty} F(x) = 1$
• Функција густине расподеле: ако је $f(x)$ ненегативна функција дефинисана на $\mathbb{R}$ и важи $(\forall x \in \mathbb{R}) F(x) = \int_{-\infty}^x f(t) dt$, онда је $X$ непрекидна случајна променљива а $f(x)$ њена функција густине расподеле.
  • $X$ је непрекидна $\implies F(x)$ је непрекидна
  • Ако $f(x)$ има коначно или пребројиво много тачака прекида, у њима се $f(x)$ може дефинисати произвољно.
• Теорема 3.1: За непрекидну случајну променљиву $X$ важи:
  1. $(\forall a \in \mathbb{R}) P(X = a) = 0$
     • Доказ: $P(X = a) = F(a) - F(a^{-}) = 0$
  2. $(\forall a, b \in \mathbb{R}, a < b) P(X \in (a, b)) = \int_a^b f(t) dt = P(X \in [a, b)) = P(X \in (a, b]) = P(X \in [a, b])$
     • Доказ: ако интеграл представимо површином испод функције, није нам битно да ли избацимо нула, једну или две дужи из те површине.
  3. $P(x < a) = P(x \leq a)$ и $P(x > a) = P(x \geq a)$
  4. $\int_{-\infty}^{+\infty} f(x) dx = 1$
• Теорема 3.2: ако је $F(x)$ дефинисана на $\mathbb{R}$, непрекидна са десне стране и ако је $\lim_{x \to +\infty} F(x) = 1$ а $\lim_{x \to -\infty} F(x) = 0$, тада постоји случајна променљива којој је $F(x)$ функција расподеле.

Расподеле

1. Бернулијева: $X \sim Bern(p)$ (Бернулијева расподела са вероватноћом успеха $p$)
   • Закон: $X: \begin{pmatrix} 0 & 1 \\ 1 - p & p \end{pmatrix}$
   • Модел: индикатор догађаја, $I_A = \left\{ \begin{matrix} 1, & \text{sa ver.} p = P(A) \\ 0, & \text{sa ver.} q = 1-p = P(\overline{A}) \end{matrix}\right.$
2. Биномна: $X \sim Bin(n, p), n \in \mathbb{N}, 0 < p < 1, X \in \{0, 1, ..., n\}$
   • Закон: $P(X = k) = \binom{n}{k} p^k q^{n-k}, q = 1 - p$
   • Модел: Бернулијева шема је низ Бернулијевих (независних) експеримената, и у сваком експерименту догађај $A$ има вероватноћу $P(A) = p$, а наша случајна променљива јесте број реализација догађаја $A$ у $n$ изведених експеримената.
3. Пуасонова: $X \sim Poiss(\lambda), \lambda > 0$
   • Закон: $P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!}$
   • Модел: број ретких догађаја у јединици времена, тако да је $\lambda$ просечан број догађаја
4. Геометријска: $X \sim G(p), X \in \mathbb{N}$
   • Закон: $P(X = n) = q^{n-1} p$
   • Модел: изводе се Бернулијеви експерименти до првог успеха, а наша случајна променљива је број неуспеха
5. Паскалова (обрнута биномна):
   • Закон: $P(X = n) = \binom{n-1}{k-1} p^k q^{n-k}$
   • Модел: број Бернулијевих експеримената до $k$-тог успеха.
6. Хипергеометријска:
   • Модел: на располагању је $n$ предмета од којих је $m$ једне а $n-m$ друге врсте, од њих бирамо $k$ предмета ($k < m, k < n-m$) и случајна променљива нам је број предмета прве врсте међу изабраним
   • Закон: $P(X = r) = \frac{\binom{m}{r}\binom{n-m}{k-r}}{\binom{n}{k}}$
7. (Дискретна) униформна:
   • Закон: $P(X = x_i) = \frac{1}{n}$, за $X = \{x_1, x_2, ..., x_n\}$
8. (Непрекидна) униформна: $X \sim Unif[a, b], a, b \in \mathbb{R}, a < b$
   • Закон: $f(x) = \left\{\begin{matrix} \frac{1}{b - a}, & x \in [a, b] \\ 0 & x \notin [a, b] \end{matrix}\right.$ ($X$ је концентрисана на $[a, b]$)
     • $F(x) = \left\{\begin{matrix} 0, & x < a \\ \frac{x - a}{b - a}, & a \leq x \leq b \\ 1, & x > b \end{matrix}\right.$
   • Модел: бирамо број из $[a, b]$, а случајна променљива нам је да ли је број у $[a, x]$ (где је $a < x < b$)
9. Експоненцијална: $X \sim Exp(\lambda), \lambda > 0$
   • Модел: време између Пуасонових догађаја, где је $\lambda$ реципрочно просечно време
   • Закон: $f(x) = \left\{\begin{matrix} \lambda e^{-\lambda x}, & x \geq 0 \\ 0, & x < 0 \end{matrix}\right.$
     • $F(x) = \left\{\begin{matrix} 0, & x < 0 \\ 1 - e^{-\lambda x}, & x \geq 0 \end{matrix}\right.$
   • Особина одсуства меморије: $P(X > s + t | X > s) = P(X > t), s, t > 0$
10. Стандардна нормална (стандардна Гаусова): $Z \sim \mathcal{N}(0, 1)$
    • Закон: $f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$
      • $\Phi(x) = \int_{-\infty}^x = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} dx$ (неизрачунљиво, али се рачуна на основу таблице, с тим што $x \geq 3.5 \implies \Phi(x) \approx 1$ и $x < 0 \implies \Phi(-x) + \Phi(x) = 1$)

Вредности $\Phi(x)$ (пример: $\Phi(1.43) = 0.9236$)

X	0	1	2	3	4	5	6	7	8	9
0.0	5000	5040	5080	5120	5160	5199	5239	5279	5319	5359
0.1	5398	5438	5478	5517	5557	5596	5636	5675	5714	5753
0.2	5793	5832	5871	5910	5948	5987	6026	6064	6103	6141
0.3	6179	6217	6255	6293	6331	6368	6406	6443	6480	6517
0.4	6554	6591	6628	6664	6700	6736	6772	6808	6844	6879
0.5	6915	6950	6985	7019	7054	7088	7123	7157	7190	7224
0.6	7257	7291	7324	7357	7389	7422	7454	7486	7517	7549
0.7	7580	7611	7642	7673	7704	7734	7764	7794	7823	7852
0.8	7881	7910	7939	7967	7995	8023	8051	8078	8106	8133
0.9	8i59	8186	8212	8238	8264	8289	8315	8340	8365	8389
1.0	8413	8438	8461	8485	8508	8531	8554	8577	8599	8621
1.1	8643	8665	8686	8708	8729	8749	8770	8790	8810	8830
1.2	8849	8869	8888	8907	8925	8944	8962	8980	8997	9015
1.3	9032	9049	9066	9082	9099	9115	9131	9147	9162	9177
1.4	9192	9207	9222	9236	9251	9265	9279	9292	9306	9319
1.5	9332	9345	9357	9370	9382	9394	9406	9418	9429	9441
1.6	9452	9463	9474	9484	9495	9505	9515	9525	9535	9545
1.7	9554	9564	9573	9582	9591	9599	9608	9616	9625	9633
1.8	9641	9649	9656	9664	9671	9678	9686	9693	9699	9706
1.9	9713	9719	9726	9732	9738	9744	9790	9756	9761	9767
2.0	97725	97778	97831	97882	97932	97982	98030	98077	98124	98169
2.1	982i4	98257	98300	98341	98382	98422	98461	98500	98537	98574
2.2	98610	98645	98679	98713	98745	98778	98809	98840	98870	98899
2.3	98928	98956	98983	99010	99036	99061	99086	99111	99134	99158
2.4	99180	99202	99224	99245	99266	99286	99305	99324	99343	99361
2.5	99379	99396	99413	99430	99446	99461	99477	99492	99506	99520
2.6	99534	99547	99560	99573	99585	99598	99609	99621	99632	99643
2.7	99653	99664	99674	99683	99693	99702	99711	99720	99728	99736
2.8	99744	99752	99760	99767	99774	99781	99788	99795	99801	99807
2.9	99813	99819	99825	99831	99836	99841	99846	99851	99856	99861
3.0	998650	998694	998736	998777	998817	998856	998893	998930	998965	998999
3.1	999032	999065	999096	999126	999155	999184	999211	999238	999264	999289
3.2	999313	999336	999359	999381	999402	999423	999443	999462	999481	999499
3.3	999517	999534	999550	999566	999581	999596	999610	999624	999638	999651
3.4	999663	999675	999687	999698	999709	999720	999730	999740	999749	999758

Случајни вектори

• Случајни вектор: скуп случајних променљивих дефинисаних на истом скупу исхода
• Заједнички закон расподеле: одређен је ако су познате све вероватноће $p_{ij} = P(X = x_i, Y = y_j)$ за све вредности $x_i$ и $y_j$ које случајне променљиве узимају
• Маргинални закони расподеле: појединачни закони расподеле случајних променљивих у вектору, добијени из заједничког закона као $P(X = x_i) = p_{i1} + p_{i2} + ...$
• Заједничка функција расподеле: $F(x, y) = P(X \leq x, Y \leq y)$ за све $x, y \in \mathbb{R}$
• Заједничка функција густине: Ако постоји ненегативна функција $f(x, y)$ дефинисана за $X, Y \in \mathbb{R}$ таква да $(\forall (x, y) \in \mathbb{R}^2) F(x, y) = \int_{-\infty}^x \int_{-\infty}^y f(x, y) dx dy$ онда је $(X, Y)$ непрекидан случајни вектор а $f(x, y)$ његова заједничка густина. Њене особине су:
  1. $\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) = 1$
  2. $f(x, y) = \frac{\partial^2 F(x, y)}{\partial x \partial y}$
  3. $P((X, Y) \in D) = \int_D \int_D f(x, y) dx dy$
• Маргиналне функције густине: $f_X(x) = \int_{-\infty}^{+\infty} f(x, y) dy$

Независност случајних променљивих

• $X_1, X_2, ..., X_n$ су независне ако су догађаји $X_1 \in A_1, X_2 \in A_2, ...X_n \in A_n$ независни за све могуће $A_1, A_2, ..., A_n \subset \mathbb{R}$
• Услови независности:
  1. Ако у свакој тачки $(x, y) \in \mathbb{R}^2$ важи $F(x, y) = F_X(x) F_Y(y)$ где је $F$ заједничка функција расподеле а $F_X, F_Y$ су маргиналне функције расподеле.
  2. Ако су $X$ и $Y$ дискретне и важи $P(X = x_i, Y = y_i) = P(X = x_i) P(Y = y_1)$ за све вредности $x_i$ и $y_j$.
  3. Ако су $X$ и $Y$ непрекидне и важи $(\forall (x, y) \in \mathbb{R}^2) f(x, y) = f_X(x) f_Y(y)$ где је $f$ заједничка функција густине а $f_X, f_Y$ су маргиналне функције густине.

Варијациони низ

• Ако су $X_1, X_2, ... X_n$ независне случајне променљиве са истом расподелом које означавају вредности добијене у неким догађајима (на пример, резултати бацања коцкице), онда променљиве $X_{(1)}, X_{(2)}, ... X_{(n)}$ које носе вредност најмање од ових променљивих, друге најмање од ових променљивих, ... редом чине варијациони низ.
  • Променљиве варијационог низа немају исту расподелу као оригиналне случајне променљиве, и више нису независне.
• Функција расподеле $k$-те случајне променљиве варијационог низа: $F_k(x) = \sum_{j = k}^n \binom{n}{j} F(x)^j (1 - F(x))^{n - j}$
• Специјални случајеви:
  • Функција расподеле најмање случајне променљиве варијационог низа: $F_{min}(x) = 1 - (1 - F(x))^n$
  • Функција расподеле највеће случајне променљиве варијационог низа: $F_{max}(x) = 1 - (F(x))^n$

Нумеричке карактеристике случајних променљивих

Математичко очекивање

• За дискретну случајну променљиву $X$ са коначним скупом вредности $\{x_1, x_2, ..., x_n\}$, математичко очекивање је дефинисано са $EX = \sum_{k = 1}^n x_k P(X = x_k)$
• За дискретну случајну променљиву $X$ са бесконачним скупом вредности, математичко очекивање је дефинисано са $EX = \sum_k x_k P(X = x_k)$ (под условом да овај ред апсолутно конвергира)
• За непрекидну случајну променљиву $X$ са густином $f(x)$, математичко очекивање је дефинисано са $EX = \int_{-\infty}^{+\infty} xf(x)dx$ (под условом да овај интеграл апсолутно конвергира)
• Теорема 4.1: Нека је $X$ непрекидна случајна променљива са густином $f(x)$ и $g$ функција за коју постоји $E(g(X))$. Тада је: $E(g(X)) = \int_{-\infty}^{+\infty} g(x) f(x) dx$.
• Теорема 4.2: Нека су $X$ и $Y$ случајне променљиве са очекивањима $EX$ и $EY$, а $a, b, c \in \mathbb{R}$. Тада важи:
  1. $E(c) = c$
  2. $E(aX) = aEX$
  3. $E(X + Y) = EX + EY$
  4. Ако су $X$ и $Y$ независне, онда је $E(XY) = EX EY$

Варијанса

• Варијанса (дисперзија): за променљиву $X$ са очекивањем $EX$, варијанса је $VarX = E(X - EX)^2$
  • Стандардна девијација (стандардно одступање): $S.D.(X) = \sqrt{VarX}$
• Особине варијансе за $a, c \in \mathbb{R}$:
  1. $Var(c) = 0$
     • Доказ: $Var(c) = E(c - E(c))^2 = E(c - c)^2 = 0$
  2. $VarX = 0 \implies P(X = c) = 1$ за неко $c$
     • Доказ: није доказивано.
  3. $VarX = E(X^2) - (EX)^2$
     • Доказ: $VarX = E(X - EX)^2 =$$E(X^2 - 2EX \cdot X + (EX)^2) =$$E(X^2) + E(-2EX \cdot X) + E((EX)^2) =$$E(X^2) - 2EX \cdot EX + (EX)^2 =$$E(X^2) - (EX)^2$
  4. $Var(X + a) = VarX$
  5. $Var(aX) = a^2 VarX$
  6. Ако су $X$ и $Y$ независне са коначним варијансама, онда је $Var(X + Y) = VarX + VarY$
• Коваријанса: $Cov(X, Y) = E[(X - EX)(Y - EY)]$ (одступање од очекиване вредности обе променљиве)
  • Теорема 4.3: $Cov(X, Y) = E(XY) - EX \cdot EY$
    • Доказ: $Cov(X, Y) =$$E(XY - EX \cdot Y - X \cdot EY + EX \cdot EY) =$$E(XY) + E(-EX \cdot Y) + E(-X \cdot EY) + E(EX \cdot EY) =$$E(XY) - EX \cdot EY - EY \cdot EX + EX \cdot EY =$$E(XY) - EX \cdot EY$
  • Теорема 4.4: $Var(X + Y) = VarX + VarY + 2Cov(X, Y)$
    • Доказ: $Var(X + Y) =$$E(X + Y - E(X + Y))^2 =$$E(X + Y - EX - EY)^2 =$$E((X - EX) + (Y - EY))^2 =$$E((X - EX)^2 + 2(X - EX)(Y - EY) + (Y - EY)^2) =$$VarX + VarY + 2Cov(X, Y)$
• Особине коваријансе за независне променљиве $X, Y, Z$ и $a, b \in \mathbb{R}$:
  1. Ако су $X$ и $Y$ независне, $Cov(X, Y) = 0$.
  2. $Cov(X, Y) = Cov(Y, X)$
  3. $Cov(X, X) = VarX$
  4. $Cov(aX, bY) = abCov(X, Y)$
  5. $Cov(X + Y, Z) = Cov(X, Z) + Cov(Y, Z)$
  6. $Cov(X + a, Y + b) = Cov(X, Y)$
• Коефицијент корелације: $\rho(X, Y) = \frac{Cov(X, Y)}{\sqrt{VarX} \sqrt{VarY} }$ (за $VarX, VarY > 0$)
  • Теорема 4.5:
    1. $-1 \leq \rho(X, Y) \leq 1$
       • Доказ: уочимо случајну променљиву $\frac{X}{\sqrt{VarX} } + \frac{Y}{\sqrt{VarY} }$. $0 \leq Var\left(\frac{X}{\sqrt{VarX} } + \frac{Y}{\sqrt{VarY} }\right) =$$Var\left(\frac{X}{\sqrt{VarX} }\right) + Var\left(\frac{Y}{\sqrt{VarY} }\right) + 2Cov\left(\frac{X}{\sqrt{VarX} }, \frac{Y}{\sqrt{VarY} }\right) =$$\frac{1}{\sqrt{VarX}^2} \cdot VarX + \frac{1}{\sqrt{VarY}^2} \cdot VarY + \frac{2}{\sqrt{VarX} \cdot \sqrt{VarY} } Cov(X, Y) =$$2 + 2\rho(X, Y)$. Како је $2 + 2\rho(X, Y) \geq 0$, онда важи $\rho \geq -1$. Аналогно томе, уколико уочимо случајну променљиву са - уместо + добијамо $\rho \leq 1$.
    2. $\rho(X, Y) = \pm 1$ ако и само ако $P(Y = aX + b) = 1$, где је Рашчлањивање није успело (Conversion error. Server ("cli") reported: "[INVALID]"): {\displaystyle a \neq 0, b \in \mathbb{R}, \sgn a = \sgn \rho(X, Y)}
    3. $\rho(aX + b, cY + d) = \pm \rho(X, Y)$ за $a, c \in \mathbb{R} \setminus \{0\}, b, d \in \mathbb{R}$, где се узима знак плус ако је $ac$ позитивно, а минус у супротном
  • Корелација:
    • $\rho(X, Y) = 0 \implies$ променљиве су некорелисане
    • $\rho(X, Y) > 0 \implies$ променљиве су позитивно корелисане
    • $\rho(X, Y) < 0 \implies$ променљиве су негативно корелисане
  • Моменти:
    • $E(X^k)$: моменат реда $k$
    • $E|X|^k$: апсолутни моменат реда $k$
    • $E(X - EX)^k$: централни моменат реда $k$
  • Квантили: за дату случајну променљиву $X$ са расподелом $F(x)$, квантил реда $p$ је сваки број $x$ за који важи $F(x^-) \leq p \leq F(x)$.
    • За сваку расподелу и за свако $p$ постоји бар један квантил тог реда.
    • Ознака: $\varepsilon_p$
    • $\varepsilon_{\frac{1}{2} }$: медијана (мера средње вредности)
    • $\varepsilon_{\frac{1}{4} }$: први квартил
    • $\varepsilon_{\frac{3}{4} }$: други квартил

Нумеричке карактеристике расподела

Нумеричке карактеристике честих расподела

Расподела	Математичко очекивање	Варијанса
$Bern(p)$	$p$	$qp$
$Bin(n, p)$	$np$	$npq$
$Poiss(\lambda)$	$\lambda$	$\lambda$
$Exp(\lambda)$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
$Unif(a, b)$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
$\mathcal{N}(\mu, \sigma^2)$	$\mu$	$\sigma^2$

Карактеристичне функције

• Дефинише се као $\varphi_X(t) = Ee^{itX}$.
  • За дискретно $X$: $\varphi_X = \sum_k e^{itx_k} P(X = x_k)$ за све вредности $x_k$
  • За непрекидно $X$: $\varphi_X = \int_{-\infty}^{+\infty} e^{itx} f(x) dx$, где $f(x)$ означава густину
• Теорема 5.1:
  1. За сваку случајну променљиву постоји одговарајућа карактеристична функција
  2. Различитим карактеристичним функцијама одговарају различите расподеле и обрнуто
  3. За сваку случајну променљиву и свака два реална или комплексна броја важи $\varphi_{aX+b}(t) = e^{ibt} \varphi_X(at)$
  4. Ако случајна променљива има момент реда $n$ тада важи $E(X^n) = i^{-n} \varphi^{(n)}(0)$
  5. За две случајне променљиве важи $\varphi_{X + Y}(t) = \varphi_X(t) \varphi_Y(t)$
     • Доказ: $\varphi_{X + Y}(t) = Ee^{it(X+Y)} = Ee^{itX} Ee^{itY} = \varphi_X(t) \varphi_Y(t)$

Граничне теореме

• Низ случајних променљивих $\{X_n\}$:
  • строго конвергира (конвергира скоро свуда) ка $X$ ако $P\left(\lim_{n \to \infty} X_n = X\right) = 1$
  • конвергира у вероватноћи ка $X$ ако је $\lim_{n \to \infty} P\left(\left|X_n - X\right|\geq \varepsilon\right) = 0$ за свако $\varepsilon > 0$
  • конвергира у расподели (слабо конвергира) ка $X$ ако $\lim_{n \to \infty} F_{X_n}(x) = F_X(x)$ у свакој тачки $x \in \mathbb{R}$ у којој је $F_X(x)$ непрекидна
  • $L_p$-конвергира ка $X$ за $p \geq 1$ ако $\lim_{n \to \infty} E\left|X_n - X\right|^p = 0$
    • За $p = 2$ се каже да конвергира у средњем квадратном ка $X$
• Из строге конвергенције следи конвергенција у вероватноћи, из конвергенције у вероватноћи следи конвергенција у расподели, а из $L_p$ конвергенције такође следи конвергенција у вероватноћи.
• Теорема 6.1: (теорема о непрекидности) Нека је $X_n$ низ случајних променљивих са карактеристичним функцијама $\varphi_n$ и нека је $X$ случајна променљива са карактеристичном функцијом $\varphi$. Низ $X_n$ конвергира у расподели ка $X$ ако и само ако је $\lim_{n \to \infty} \varphi_n(t) = \varphi(t)$ за свако $t \in \mathbb{R}$.
• Теорема 6.2: (апроксимација биномне расподеле Пуасоновом) ако $X \sim Bin(n, p)$ и ако $np < 5, n \geq 30$ онда $X \sim Poiss(np)$
• Теорема 6.3: (неједнакост Маркова) ако је $X$ ненегативна случајна променљива и постоји $EX$, онда $P(X \geq \varepsilon) \leq \frac{EX}{\varepsilon}$ за свако $\varepsilon > 0$
• Теорема 6.4: (неједнакост Чебишева) ако постоји $VarX$, тада је $P\left(\left|X - EX\right| \geq \varepsilon\right) \leq \frac{VarX}{\varepsilon^2}$ за свако $\varepsilon > 0$
  • Доказ: на основу неједнакости Маркова, $P\left(\left|X - EX\right| \geq \varepsilon\right) = P((X - EX)^2 \geq \varepsilon^2) \leq \frac{E(X - EX)^2}{\varepsilon^2} = \frac{VarX}{\varepsilon^2}$
• Теорема 6.5: (слаби закон великих бројева) Нека су $X_1, X_2...$ независне случајне променљиве са истим очекивањем $\mu$ и са коначним варијансама $VarX_k \leq V$ за свако $k \in \mathbb{N}$, где је $V$ позитивна константа. Тада низ аритметичких средина $\frac{X_1 + ... + X_n}{n}$ конвергира у вероватноћи ка $\mu$.
• Теорема 6.6: (Борелов строги закон великих бројева) Ако је $S_n$ број успеха у $n$ Бернулијевих експеримената са вероватноћом успеха $p$. тада је $P\left(\lim_{n \to \infty} \frac{S_n}{n} = p\right) = 1$
• Теорема 6.7: (Коломогоровљев строги закон великих бројева)
  1. Ако су $X_1, ..., X_n$ независне случајне променљиве са истом расподелом и очекивањем $\mu$, тада важи $P\left(\lim_{n \to \infty} \frac{X_1 + ... + X_n}{n} = \mu\right) = 1$
  2. Ако су $X_1, ..., X_n$ независне случајне променљиве са истом расподелом и ако постоји $b$ такав да је $P\left(\lim_{n \to \infty} \frac{X_1 + ... + X_n}{n} = b\right) = 1$, тада све променљиве имају очекивање $b$
• Теорема 6.8: (централна гранична теорема) Ако су $X_1, X_2...$ независне, са истом расподелом, очекивањем $\mu$ и коначним варијансама $\sigma^2$, тада $Z_n = \frac{X_1 + ... + X_n - n\mu}{\sigma \sqrt{n} }$ конвергира у расподели ка $Z \sim \mathcal{N}(0, 1)$.
  • У пракси мора да важи $n \geq 30$.
• Теорема 6.9: (апроксимација биномне расподеле нормалном, Моавр-Лапласова теорема) Ако је $X \sim Bin(n, p)$ и $Z_n = \frac{X - np}{\sqrt{npq} }$ тада $Z_n$ конвергира у расподели ка $Z \sim \mathcal{N}(0, 1)$
  • Доказ: следи из централне граничне теореме, $X = X_1 + ... + X_n, X_1, ..., X_n \sim Bern(p)$
• Апроксимација Пуасонове расподеле нормалном: $X \sim Poiss(\lambda), \lambda \geq 10 \implies X \sim \mathcal{N}(\lambda, \lambda)$

Статистика

Основни појмови

• Популација: скуп $\Omega$ елемената $\omega$ (паралела из вероватноће: скуп исхода)
• Обележје: нумеричка особина $X(\omega)$ елемената $\omega \in \Omega$ (паралела из вероватноће: случајна променљива)
• Статистички експеримент (у пракси): регистровање вредности $X$ на неком (правом) подскупу скупа $\Omega$, који називамо узорак. На основу узорка доносимо закључке о расподели $X$.
• Случајни узорак димензије $n$ је скуп независних случајних променљивих са истом расподелом.
  • Реализовани узорак представља реализоване вредности случајних променљивих у посматраном експерименту.
• Статистика је случајна променљива $f(X_1, X_2, ..., X_n)$ која зависи само од случајних променљивих из узорка, не и од непознатих параметара расподеле.
  • Њена расподела сме да зависи од ових параметара.
  • Реализована вредност статистике: $f(x_1, x_2, ..., x_n)$

Оцене параметара

• Обележје $X$ има расподелу $P_{\theta}$ која зависи од скупа параметара $\theta \in \Theta$.
  • $\Theta$: скуп допустивих расподела
  • $P_{\theta}$: фамилија расподела
  • Ако не знамо $\theta$ можемо да бирамо узорак и на основу њега оцењујемо $\theta$.

Тачкаста оцена

• Реализована вредност статистике $\hat{\theta}(X_1, ..., X_n)$
• Карактеристике:
  1. $\hat{\theta}(X_1, ..., X_n)$ је центрирана (непристрасна) ако је $E\hat{\theta} = \theta$ за свако $\theta$.
  2. $\hat{\theta}(X_1, ..., X_n)$ је асимптотски непристрасна ако $E\hat{\theta} \to_{n \to \infty} \theta$.
  3. $\hat{\theta}(X_1, ..., X_n)$ је стабилна (постојана) ако конвергира у вероватноћи ка $\theta$.
  4. Ако су $\hat{\theta_1}$ и $\hat{\theta_2}$ две оцене истог параметра $\theta$, $\hat{\theta_1}$ је боља од $\hat{\theta_2}$ ако је $E(\hat{\theta_1} - \theta)^2 \leq E(\hat{\theta_2} - \theta)^2$ с тим што строга неједнакост важи за бар једно $\theta$.
  5. Ако су $\hat{\theta_1}$ и $\hat{\theta_2}$ две оцене истог параметра $\theta$, кажемо да је $\hat{\theta_1}$ ефикасније од $\hat{\theta_2}$ ако је $Var\hat{\theta_1} \leq Var\hat{\theta_2}$ с тим што строга неједнакост важи за бар једно $\theta$.

Интервална оцена

• Интервал поверења: је интервал који, за дат узорак обима $n$ из расподеле $P_{\theta}$, садржи непознати параметар $\theta$ са вероватноћом $1-\alpha$.
  • Двострани интервал поверења: $[A, B]$
  • Једнострани интервал поверења: $(-\infty, B]$ или $[A, +\infty)$
  • $A$ и $B$ су статистике.
• Студентова $t$-расподела:
  • $f(x) = \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi} \Gamma\left(\frac{n}{2}\right)} \left(1 + \frac{x^2}{n}\right)^{-\frac{n+1}{2}}$
  • Гама функција: $\Gamma(x) = \int_0^{+\infty} e^{-t} t^{x-1} dt$
    • $\Gamma(x+1) = x\Gamma(x) \implies \Gamma(n) = (n-1)!$
    • $\Gamma(1) = 1$
    • $\Gamma\left(\frac{1}{2}\right) = \sqrt{\pi}$
  • За $n \geq 30$ можемо апроксимирати са $\mathcal{N}(0, 1)$
  • Теорема 7.1: Ако су $X_1, ..., X_n \sim \mathcal{N}(\mu, \sigma^2)$ са непознатим $\mu$ и $\sigma$, нека је $\hat{\mu} = \frac{X_1 + ... + X_n}{n}$ и $s^2 = \frac{1}{n-1} \sum_{k = 1}^n (X_k - \hat{\mu})^2$, тада важи $\frac{\hat{\mu} - \mu}{\frac{s}{\sqrt{n}}} \sim t(n-1)$.
• Хи квадрат расподела:
  • $f(x) = \begin{cases} \frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} x^{\frac{n}{2} - 1} e^{-\frac{x}{2}}, & x > 0 \\ 0, & x \leq 0 \end{cases}$
  • Теорема 7.2: Ако су $Z_1, Z_2, ..., Z_n \sim \mathcal{N}(0, 1)$, њихов збир има расподелу $\chi^2(n)$.
  • Теорема 7.3: Ако су $X_1, X_2, ..., X_n \sim \mathcal{N}(\mu, \sigma^2)$ са непознатим $\sigma^2$:
    • Ако је $\mu$ познато: $\frac{nS_0^2}{\sigma^2} \sim \chi^2(n)$
    • Ако је $\mu$ непознато: $\frac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)$

Процена непознатих параметара у интервалима поверења код $\mathcal{N}(\mu, \sigma^2)$.

Процена		Двострани интервал	Једнострани интервал
Процена непознатог $\mu$	Познато $\sigma^2$	$\mu \in \left[\hat{\mu} - \varepsilon_{1 - \frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}, \hat{\mu} + \varepsilon_{1 - \frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}\right]$	$\mu \in \left(-\infty, \hat{\mu} + \varepsilon_{1 - \alpha} \frac{\sigma}{\sqrt{n}}\right]$ или $\mu \in \left[\hat{\mu} - \varepsilon_{1 - \alpha} \frac{\sigma}{\sqrt{n}}, +\infty\right)$
	Непознато $\sigma^2$	Процењујемо $\sigma^2$: $s^2 = \frac{1}{n-1} \sum_{k = 1}^n (X_k - \hat{\mu})^2$, $\frac{\hat{\mu} - \mu}{\frac{s}{\sqrt{n}}} \sim t(n-1)$
		$\mu \in \left[\hat{\mu} - \varepsilon_{1 - \frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \hat{\mu} + \varepsilon_{1 - \frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]$	$\mu \in \left(-\infty, \hat{\mu} + \varepsilon_{1 - \alpha} \frac{s}{\sqrt{n}}\right]$ или $\mu \in \left[\hat{\mu} - \varepsilon_{1 - \alpha} \frac{s}{\sqrt{n}}, +\infty\right)$
Процена непознатог $\sigma^2$	Познато $\mu$	$\sigma^2 \in \left[\frac{nS_0^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, \frac{nS_0^2}{\varepsilon_{\frac{\alpha}{2}}}\right]$, квантили из $\chi^2(n)$	$\sigma^2 \in \left[0, \frac{nS_0^2}{\varepsilon_{\alpha}}\right]$ или $\sigma^2 \in \left[\frac{nS_0^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, +\infty\right)$, квантили из $\chi^2(n)$
	Непознато $\mu$	$\sigma^2 \in \left[\frac{(n-1)s^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, \frac{(n-1)s^2}{\varepsilon_{\frac{\alpha}{2}}}\right]$, квантили из $\chi^2(n-1)$	$\sigma^2 \in \left[0, \frac{(n-1)s^2}{\varepsilon_{\alpha}}\right]$ или $\sigma^2 \in \left[\frac{(n-1)s^2}{\varepsilon_{1 - \frac{\alpha}{2}}}, +\infty\right)$, квантили из $\chi^2(n-1)$

• Ако расподела није $\mathcal{N}(\mu, \sigma^2)$, за $n > 30$ важи централна гранична теорема, тако да можемо апроксимирати интервал поверења као за нормалну расподелу.

Тестирање параметарских хипотеза

• Ознаке:
  • $H_0$: нулта хипотеза
    • $H_0: \theta \in \Theta_0$
  • $H_1$: алтернативна хипотеза
    • $H_1: \theta \in \Theta_1$
    • Увек важи да $\Theta_0 \cap \Theta_1 = \varnothing$
    • Најчешће важи да $\Theta_0 \cup \Theta_1 = \Theta$
  • $S$: статистика теста
  • $C$: област одбацивања (критична област), хипотезу одбацујемо ако $S \in C$, иначе не одбацујемо
  • $\gamma(\theta)$: моћ теста, односно вероватноћа да ће $H_0$ бити одбачена
    • $\gamma(\theta) = P(S \in C)$
  • $\alpha(\theta)$: вероватноћа грешке првог реда, односно вероватноћа одбацивања $H_0$ иако је тачна
    • $\alpha(\theta) = \gamma(\theta)$ за $\theta \in \Theta_0$
  • $\alpha = \sup_{\theta \in \Theta_0} \alpha(\theta)$: ниво значајности теста
  • $c$: критична вредност теста (граница области одбацивања)
    • Пример: $C = [c, +\infty)$, $C = (-\infty, c]$
• Померањем области одбацивања грешка једног реда расте а другог се смањује.
  • Уколико желимо да смањимо обе грешке треба да повећамо обим узорка.
• Начини тестирања параметарских хипотеза (обрађени на вежбама):
  1. ...
  2. преко интервала поверења
  3. помоћу $p$ вредности: $p = \sup P(S = s)$ (или $S \leq s$, $S \geq s$)

Тестирање непараметарских хипотеза

• Начини тестирања непараметарских хипотеза:
  • Поређењем хистограма: $\chi^2$ тест
  • Поређењем функција расподеле: тест Колмогоров-Смирнова
• Емипиријска функција расподеле: $F_n(x) = \begin{cases} 0, & x < X_{(1)} \\ \frac{k}{n}, & X_{(k)} \leq x < X_{(k+1)} \\ 1, & x \geq X_{(n)} \end{cases}$
• Теорема 7.4 (Гливенко-Кантели): Нека је $F_n$ емпиријска функција расподеле добијена из независног узорка обима $n$ из расподеле са функцијом расподеле $F$. Тада је $P(\lim_{n \to \infty} \sup_{x \in \mathbb{R}} \left|F_n(x) - F(x)\right| = 0) = 1$
• Теорема 7.5: Нека је $F_n$ емпиријска функција расподеле добијена из независног узорка обима $n$ из расподеле са функцијом расподеле $F$. Тада је $\lim_{n \to \infty} P(\sqrt{n} \sup_{x \in \mathbb{R}} \left|F_n(x) - F(x)\right| \leq t) = K(t)$.
  • $K(t)$ се назива Колмогоровом функцијом расподеле
• Тест Колмогоров-Смирнова:ако је $F_0$ функција расподеле непрекидне случајне променљиве и ми тестирамо $H_0: F = F_0$, онда важи да $\sqrt{n} \sup_{x \in \mathbb{R}} \left|F_n(x) - F(x)\right| > \varepsilon_{1 - \alpha} \implies$ одбацујемо хипотезу (ако је квантил из $K(t)$).