Multivarijantna normalna raspodela

Multivarijantna normalna raspodela

Funkcija gustine verovatnoće Mnogštvo uzoraka sa multivarijantnom normalnom distribucijom sa ${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$ i ${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$, prikazani zajedno sa 3-sigma elipse, dve marginalne distribucije, i dva 1-d histograma.
Notacija	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$
Parametri	μ ∈ Rk — lokacija Σ ∈ Rk × k — kovarijansa (pozitivna poludefinitivna matrica)
Nositelj	x ∈ μ + span(Σ) ⊆ Rk
PDF	${\displaystyle (2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},}$ postoji samo kad je Σ positivna-definitivna
Prosek	μ
Modus	μ
Varijansa	Σ
Entropija	${\displaystyle {\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)}$
MGF	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
Kulbek-Lajblerova divergencija	pogledajte ispod

U teoriji verovatnoće i statistici, multivarijantna normalna raspodela, multivarijantna Gausova raspodela, ili zajednička normalna raspodela je generalizacija jednodimenzionalne (univarijantne) normalne distribucije na više dimenzija. Jedna definicija je da se randomni vektor smatra k-varijantno normalno distribuiranim ako svaka linearna kombinacija njegovih k komponenata ima univarijantnu normalnu distribuciju. Njen značaj proističe uglavnom iz multivarijantne centralne granične teoreme. Multivarijantna normalna distribucija često se koristi za opisivanje, barem aproksimativno, bilo kojeg skupa (mogućih) korelisanih realno-vrednosnih radomnih promenljivih, od kojih se svaka grupiše oko srednje vrednosti.

Notacija i parametrizacija

Multivarijantna normalna distribucija k-dimenzionalnog randomnog vektora ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})}$ može se zapisati na sledeći način:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

ili da se naglasi da je X k-dimenziono,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

sa k-dimenzionim srednjim vektorom

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),}$

i ${\displaystyle k\times k}$ kovarijantnom matricom

${\displaystyle \Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

takvom da ${\displaystyle 1\leq i,j\leq k.}$ Inverzna matrica kovarijantne matrice se zove matrica preciznosti i označava se sa ${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$.

Definicije

Standardni normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove standardni normalni randomni vektor ako su sve njegove komponente ${\displaystyle X_{n}}$ nezavisne i svaka je normalno distribuirana randomna promenljiva sa nultom srednjom vrednosti i jediničnom varijansom, i.e. ako ${\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)}$ za svako ${\displaystyle n}$.^{[1]‍:p. 454}

Centrirani normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove centrirani normalni randomni vektor ako postoji deterministička ${\displaystyle k\times \ell }$ matrica ${\displaystyle {\boldsymbol {A}}}$ takva da ${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ ima istu distribuciju kao ${\displaystyle \mathbf {X} }$ gde je ${\displaystyle \mathbf {Z} }$ standardni normalni randomni vektor sa ${\displaystyle \ell }$ komponenata.^{[1]‍:p. 454}

Normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove normalni randomni vektor ako postoji randomni ${\displaystyle \ell }$-vektor ${\displaystyle \mathbf {Z} }$, koji je standardni normalni randomni vektor, ${\displaystyle k}$-vektor ${\displaystyle \mathbf {\mu } }$, i ${\displaystyle k\times \ell }$ matrica ${\displaystyle {\boldsymbol {A}}}$, takva da je ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$.^{[2]‍:p. 454[1]‍:p. 455}

Formalno:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{postoji }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ takvo da je }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ za }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

Kovarijantna matrica je ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$.

U degenerativnom slučaju gde je kovarijantna matrica singularna, korespondirajuća distribucija nema gustinu. Ovaj slučaj se često pojavljuje u statistici; na primer, u raspodeli vektora reziduala u regresiji običnih najmanjih kvadrata. Takođe treba imati na umu da ${\displaystyle X_{i}}$ uglavnom nisu nezavisni; oni se mogu videti kao rezultat primene matrice ${\displaystyle {\boldsymbol {A}}}$ na kolekciju nezavisnih Gausovih promenljivih ${\displaystyle \mathbf {Z} }$.

Ekvivalentne definicije

Sledeće definicije su ekvivalentne sa gornjom definicijom. Randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}}$ ima multivarijatnu normalnu distribuciju ako zadovoljava jedan od sledećih uslova.

• Svaka linearna kombinacija ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$ njegovih komponenti je normalno distribuirana. Drugim rečima, za svaki konstantni vektor ${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$, randomna promenljiva ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$ ima univarijatnu normalnu distribuciju, gde je univarijatna normalna distribucija sa nultom varijansom tačka mase na svojoj srednjoj vrednosti.
• Postoji k-vektor ${\displaystyle \mathbf {\mu } }$ i simetrična, pozitivna poludefinitivna ${\displaystyle k\times k}$ matrica ${\displaystyle {\boldsymbol {\Sigma }}}$, takva da karakteristična funkcija od ${\displaystyle \mathbf {X} }$ je

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$

Sferina normalna distribucija može da bude karakterisana kao jedinstvena distribucija, pri čemu su komponente nezavisne u svakom ortogonalnom koordinatnom sistemu.^[3][4]

Reference

Literatura

Spoljašnje veze