Procena maksimalne verovatnoće

U statistici, procena maksimalne verovatnoće (engl. maximum likelihood estimation - MLE) metod je procenjivanja parametara raspodele verovatnoće maksimizovanjem funkcije verovatnoće, tako da su po pretpostavljenom statističkom modelu uočeni podaci najverovatniji. Tačka u parametarskom prostoru koja maksimizira funkciju verovatnoće naziva se procenom maksimalne verovatnoće.^[1] Logika maksimalne verovatnoće je intuitivna i fleksibilna, i kao takva metoda je postala dominantno sredstvo statističkog zaključivanja.^[2][3][4]

Ako je funkcija verovatnoće diferencijabilna, može se primeniti derivatni test za određivanje maksima. U nekim slučajevima se uslovi prvog reda funkcije verovatnoće mogu eksplicitno rešiti; na primer, procenjivač običnih najmanjih kvadrata maksimizira verovatnoću linearnog regresionog modela.^[5] Međutim, u većini okolnosti, numeričke metode su neophodne da bi se pronašao maksimum funkcije verovatnoće.

Sa stanovišta Bajesovog zaključivanja, MLE je poseban slučaj maksimalne posteriorne procene (MAP) koji pretpostavlja uniformnu priornu raspodelu parametara. U frekvencionističkom zaključivanju, MLE je poseban slučaj procenjivača ekstrema, čija je objektivna funkcija verovatnoća.

Principi

Sa statističkog stanovišta, dati skup zapažanja je slučajni uzorak iz nepoznate populacije. Cilj procene maksimalne verovatnoće je da se izvedu zaključci o populaciji iz koje je uzorak najverovatnije generisn,^[6] specifično o zajedničkoj raspodeli verovatnoće slučajnih promenljivih ${\displaystyle \left\{y_{1},y_{2},\ldots \right\}}$, koje nisu nužno nezavisno i identično distribuirane. Sa svakom distribucijom verovatnoće povezan je jedinstveni vektor ${\displaystyle \theta =\left[\theta _{1},\,\theta _{2},\ldots \,,\theta _{k}\right]^{\mathsf {T}}}$ parametara koji indeksiraju distribuciju verovatnoće unutar porodice parametara ${\displaystyle \{f(\cdot \,;\theta )\mid \theta \in \Theta \}}$, gde se ${\displaystyle \Theta }$ naziva prostorom parametara, koji je konačno dimenzionalni podskup Euklidskog prostora. Procena zajedničke gustine na posmatranom uzorku podataka ${\displaystyle \mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})}$ daje realno-vrednosnu funkciju,

${\displaystyle L_{n}(\theta )=L_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )}$

koja se naziva funkcijom verovatnoće. Za nezavisne i identično raspodeljene slučajne promenljive, ${\displaystyle f_{n}(\mathbf {y} ;\theta )}$ će biti proizvod univarijantnih funkcija gustine.

Cilj procene maksimalne verovatnoće je da se pronađu vrednosti parametara modela koje maksimiziraju funkciju verovatnoće u prostoru parametara,^[6] to jest

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\ {\widehat {L}}_{n}(\theta \,;\mathbf {y} )}$

Intuitivno, ovim se biraju vrednosti parametara koje čine posmatrane podatke najverovatnijim. Specifična vrednost ${\displaystyle {\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta }$ koja maksimizuje funkciju verovatnoće ${\displaystyle L_{n}}$ se zove procena maksimalne verovatnoće. Dalje, ako je funkcija ${\displaystyle {\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta }$ tako definisana da je merljiva, onda se ona naziva procenjivačem maksimalne verovatnoće. To je generalno funkcija definisana nad prostorom uzorka, tj. ona uzima određeni uzork kao svoj argument. Dovoljan ali ne i neophodan uslov za njeno postojanje je da funkcija verovatnoće bude kontinuirana na parametarskom prostoru ${\displaystyle \Theta }$ koji je kompaktan.^[7] Za otvoreno ${\displaystyle \Theta }$ funkcija verovatnoće se može povećati bez premašivanja supremumske vrednosti.

U praksi je često prikladno raditi s prirodnim logaritamom funkcije verovatnoće, zvanim logaritamska verovatnoća^[8]:

${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln L_{n}(\theta \,;\mathbf {y} ).}$

Pošto je logaritam monotona funkcija, maksimum od ${\displaystyle \ell (\theta \,;\mathbf {y} )}$ se javlja na istoj vrednosti ${\displaystyle \theta }$ kao i maksimum od ${\displaystyle L_{n}}$.^[9] Ako je ${\displaystyle \ell (\theta \,;\mathbf {y} )}$ diferencijabilno u ${\displaystyle \theta }$, potrebni uslovi za pojavljivanje maksimuma (ili minimuma) su

${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0,}$

što je poznato kao jednačina verovatnoće. Za neke modele, ove jednačine mogu se eksplicitno rešiti za ${\displaystyle {\widehat {\theta \,}}}$, ali generalno rešenja zatvorenog oblika za probleme maksimizacije nisu poznata ili dostupna, a MLE se može pronaći samo numeričkom optimizacijom. Još jedan problem je što u konačnim uzorcima može postojati više korena za jednačine verovatnoće.^[10] Da li je identifikovani koren ${\displaystyle {\widehat {\theta \,}}}$ jednačine verovatnoće zaista (lokalni) maksimum, zavisi od toga da li je matrica drugog reda parcijalnih i unakrsno parcijalnih derivata,

${\displaystyle \mathbf {H} ({\widehat {\theta \,}})={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}},}$

poznata kao Hesijan negativno poludefinitivna u ${\displaystyle {\widehat {\theta \,}}}$, što daje indikaciju o postojanju lokalne konkavnosti. Povoljno je da su najčešće raspodele verovatnoće - naročito eksponencijalna porodica - logaritamski konkavne.^[11][12]

Reference

Literatura

Spoljašnje veze

Procena maksimalne verovatnoće na Vikimedijinoj ostavi.