Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance.

Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922^[1],[2].

Exemple

Soient neuf tirages aléatoires x₁, …, x₉ suivant une même loi^[3] ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés. On souhaite modéliser ces valeurs par une loi normale. On va alors expliquer intuitivement la notion de vraisemblance, puis expliquer comment trouver les deux paramètres de la loi normale à savoir ici l'espérance μ (la moyenne) et l'écart type σ.

Lois normales de même écart type

Prenons deux lois modèles de même écart type σ mais ayant une espérance μ différente. Pour chacun des cas, on détermine les hauteurs h_i correspondant à la valeur de la fonction de densité en x_i. La vraisemblance L est alors définie comme valant

${\displaystyle L=h_{1}\times h_{2}\times \ldots \times h_{9}}$,

c'est-à-dire comme le produit des hauteurs. Dans le cas de la courbe bleue à droite, les valeurs sont majoritairement situées là où la fonction de densité est maximale — la zone est signalée par une accolade. Donc, la vraisemblance est plus importante pour la courbe bleue que pour la courbe noire. De manière générale, on doit avoir une densité de valeurs x_i importante là où la fonction de densité est importante ; le maximum de vraisemblance est donc pertinent pour sélectionner le paramètre position, lorsqu'il a un sens, de la loi modèle.

Lois normales de même espérance

Prenons maintenant trois lois normales modèle toutes les trois avec la « bonne » espérance, mais ayant des écarts types différents. Dans le cas de la courbe verte à gauche, l'écart type est très important, la courbe est très large et donc « ne monte pas très haut » (la surface sous la courbe devant être de 1, quelle que soit la courbe) ; les h_i sont donc bas et L est faible.

Dans le cas de la courbe noire à droite, l'écart type est petit ; le sommet de la courbe est haut, mais les h_i des extrémités sont eux très faibles, donc le produit L n'est pas très élevé.

La courbe bleue au centre a à la fois des hauteurs relativement élevées pour les h_i du centre et des hauteurs non négligeables pour les h_i des extrémités, ce qui donne un L élevé ; le maximum de vraisemblance est donc pertinent pour sélectionner le paramètre dispersion, lorsqu'il a un sens, de la loi modèle.

Déterminer les paramètres

Pour notre exemple, si l'on trace la valeur de la vraisemblance L en fonction des paramètres μ et σ, on obtient une surface dont le maximum est en (μ = 0, σ = 1). La recherche de ce maximum est un problème d'optimisation classique.

Histoire

En 1912, au moment où Ronald Aylmer Fisher rédige son premier article consacré au maximum de vraisemblance, les deux méthodes statistiques les plus utilisées sont la méthode des moindres carrés et la méthode des moments^[2]. Dans son article de 1912, il propose l'estimateur du maximum de vraisemblance qu'il appelle à l'époque le critère absolu^[4],[2]. Il prend l'exemple d'une loi normale^[2].

En 1921, il applique la même méthode à l'estimation d'un coefficient de corrélation^[5],[2].

En 1912, un malentendu a laissé croire que le critère absolu pouvait être interprété comme un estimateur bayésien avec une loi a priori uniforme^[2]. Fisher réfute cette interprétation en 1921^[2]. En 1922, il utilise la loi binomiale pour illustrer son critère et montre en quoi il est différent d'un estimateur bayésien^[6],[2]. C'est aussi en 1922 qu'il donne le nom de maximum de vraisemblance à sa méthode^[2].

Définitions

Soit ${\displaystyle X}$ une variable aléatoire réelle, de loi ${\displaystyle {\mathcal {D}}_{\theta }}$, de paramètre ${\displaystyle \theta }$ inconnu. On définit une fonction ${\displaystyle f}$ selon que la loi est discrète ou continue.

• Si ${\displaystyle X}$ est une variable discrète, alors on pose ${\displaystyle f(x;\theta )=P_{\theta }(X=x)}$, c'est-à-dire la probabilité que ${\displaystyle X}$ vaut x.
• Si ${\displaystyle X}$ est une variable continue, alors on pose ${\displaystyle f(x;\theta )=f_{\theta }(x)}$, la densité de X au point x.

On appelle vraisemblance de ${\displaystyle \theta }$ au vu des observations ${\displaystyle (x_{1},\ldots ,x_{n})}$ d'un n-échantillon indépendamment et identiquement distribué selon la loi ${\displaystyle {\mathcal {D}}_{\theta }}$, le nombre :

${\displaystyle L(x_{1},\ldots ,x_{n};\theta )=f(x_{1};\theta )\times \ldots \times f(x_{n};\theta )=\prod _{i=1}^{n}f(x_{i};\theta )}$

À ${\displaystyle (x_{1},\ldots ,x_{n})}$ fixé, on cherche à trouver le maximum de cette vraisemblance pour que les probabilités des réalisations observées soient aussi maximum. Ceci est un problème d'optimisation. Ainsi, un estimateur du maximum de vraisemblance est tout estimateur ${\displaystyle {\widehat {\theta }}}$ de θ vérifiant^[7]

${\displaystyle \sup _{\theta }L(x_{1},\ldots ,x_{n};\theta )=L(x_{1},\ldots ,x_{n};{\hat {\theta }}).}$

A priori, il n'y a ni existence, ni unicité d'un estimateur du maximum de vraisemblance. Cependant, en pratique, dans la plupart des cas, il existe, est unique, et on peut le calculer^[7]. Cette méthode se distingue de la recherche d'un estimateur non biaisé de θ, ce qui ne donne pas nécessairement la valeur la plus probable pour θ^{[réf. nécessaire]}.

Exemple d'une loi de Bernoulli

Considérons une variable ${\displaystyle X}$ de loi de Bernoulli où la probabilité que ${\displaystyle X=1}$ vaut p et la probabilité que ${\displaystyle X=0}$ vaut 1–p. Le paramètre inconnu est ici p. On a ${\displaystyle f(0;\theta )=1-p}$ et ${\displaystyle f(1;\theta )=p}$. On peut résumer cela à ${\displaystyle f(x;\theta )=p^{x}(1-p)^{1-x}}$ pour x valant 0 ou 1. Ainsi, ${\displaystyle L(x_{1},\ldots ,x_{n};p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}}$.

Calcul d'un estimateur du maximum de vraisemblance

On utilise généralement le fait que L est dérivable (ce qui n'est pas toujours le cas). Si L admet un maximum global en une valeur ${\displaystyle \theta ={\hat {\theta }}}$, alors la dérivée première s'annule en ${\displaystyle \theta ={\hat {\theta }}}$ et la dérivée seconde est négative. Réciproquement, si la dérivée première s'annule en ${\displaystyle \theta ={\hat {\theta }}}$ et que la dérivée seconde est strictement négative en ${\displaystyle \theta ={\hat {\theta }}}$, alors ${\displaystyle \theta ={\hat {\theta }}}$ est un maximum local de ${\displaystyle L(x_{1},\ldots ,x_{i},\ldots ,x_{n};\theta )}$. Il est alors nécessaire de vérifier qu'il s'agit bien d'un maximum global. La vraisemblance étant positive et le logarithme népérien une fonction croissante, il est équivalent et souvent plus simple de maximiser le logarithme népérien de la vraisemblance (le produit se transforme en somme, plus simple à dériver). On peut facilement construire la statistique ${\displaystyle Y_{n}=\Theta }$ qui est l'estimateur voulu.

Ainsi en pratique :

• La condition nécessaire ${\displaystyle {\frac {\partial L(x_{1},\ldots ,x_{n};\theta )}{\partial \theta }}=0}$ ou ${\displaystyle {\frac {\partial \ln L(x_{1},\ldots ,x_{n};\theta )}{\partial \theta }}=0}$ permet de trouver la valeur ${\displaystyle \theta ={\hat {\theta }}}$.
• ${\displaystyle \theta ={\hat {\theta }}}$ est un maximum local si la condition suffisante est remplie au point critique ${\displaystyle \theta ={\hat {\theta }}}$ : c'est-à-dire ${\displaystyle {\frac {\partial ^{2}L(x_{1},\ldots ,x_{n};\theta )}{\partial \theta ^{2}}}<0}$ ou ${\displaystyle {\frac {\partial ^{2}\ln L(x_{1},\ldots ,x_{n};\theta )}{\partial \theta ^{2}}}<0}$.

Pour simplifier, dans les cas de lois continues, où parfois la densité de probabilité est nulle sur un certain intervalle, on peut omettre d'écrire la vraisemblance pour cet intervalle uniquement.

Exemple d'une loi de Bernoulli

On cherche la valeur de p qui maximise ${\displaystyle L(x_{1},\ldots ,x_{n};p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}}$. En passant au logarithme népérien, cela revient à chercher p qui maximise

${\displaystyle \ln L(x_{1},\ldots ,x_{n};p)=\sum _{i=1}^{n}x_{i}\ln p+(1-x_{i})\ln(1-p).}$

Pour cela, on calcule la dérivée en p :

${\displaystyle {\frac {\partial \ln L(x_{1},\ldots ,x_{n};p)}{\partial p}}=\sum _{i=1}^{n}x_{i}{\frac {1}{p}}-(1-x_{i}){\frac {1}{1-p}}}$.

On trouve ${\displaystyle {\hat {p}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$, c'est-à-dire que l'estimateur par maximum de vraisemblance de p est la moyenne empirique de l'échantillon^[8].

Généralisation

Pour une variable aléatoire réelle X de loi quelconque définie par une fonction de répartition F(x), on peut considérer des voisinages V de (x₁, …, x_n) dans ${\displaystyle \mathbb {R} ^{n}}$, par exemple une boule de rayon ε. On obtient ainsi une fonction de vraisemblance ${\displaystyle L(\theta ;V)=P[(X_{1,\theta },\ldots ,X_{n,\theta })\in V]}$ dont on cherche un maximum ${\displaystyle \theta ={\hat {\theta }}(V)}$. On fait ensuite tendre la taille de V vers 0 dans ${\displaystyle {\hat {\theta }}(V)}$ pour obtenir l'estimateur ${\displaystyle {\hat {\theta }}}$ de maximum de vraisemblance.

On retombe sur les fonctions de vraisemblance précédentes quand X est à loi discrète ou continue.

Si la loi de X est quelconque, il suffit de considérer la densité par rapport à une mesure dominante ${\displaystyle \mu }$.

Une famille de loi ${\displaystyle (P_{\theta })_{\theta \in \Theta }}$ est dominée par la mesure ${\displaystyle \mu }$ si ${\displaystyle \forall A\in \Omega ,\forall \theta \in \Theta ,\quad \mu (A)=0\Rightarrow P_{\theta }(A)=0}$.

Si X est une variable continue de dimension 1, alors on peut utiliser la mesure de Lebesgue sur ${\displaystyle \mathbb {R} }$ (ou sur un intervalle de ${\displaystyle \mathbb {R} }$ comme mesure dominante. Si X est une variable discrète de dimension 1, on peut utiliser la mesure de comptage sur ${\displaystyle \mathbb {N} }$ (ou sur un sous-ensemble de ${\displaystyle \mathbb {N} }$). On retrouve alors les définitions de la vraisemblance données pour les cas discrets et continus.

Propriétés

L'estimateur obtenu par la méthode du maximum de vraisemblance est :

• convergent^[9],[10].
• asymptotiquement efficace, il atteint la borne de Cramér-Rao^[9].
• asymptotiquement distribué selon une loi normale^{[11],[9],[12]}.

En revanche, il peut être biaisé en échantillon fini.

Intervalles de confiance

Comme l'estimateur du maximum de vraisemblance est asymptotiquement normal, on peut construire un intervalle de confiance ${\displaystyle C_{n}}$ tel qu'il contienne le vrai paramètre avec une probabilité ${\displaystyle 1-\alpha }$^[13] :

${\displaystyle C_{n}=\left({\hat {\theta _{n}}}-\Phi ^{-1}(1-\alpha /2){\widehat {\sigma _{\hat {\theta _{n}}}}},{\hat {\theta _{n}}}+\Phi ^{-1}(1-\alpha /2){\widehat {\sigma _{\hat {\theta _{n}}}}}\right)}$

avec ${\displaystyle \Phi ^{-1}(1-\alpha /2)}$ le quantile d'ordre ${\displaystyle 1-\alpha /2}$ de la loi normale centrée réduite et ${\displaystyle {\widehat {\sigma _{\hat {\theta _{n}}}}}}$ l'écart-type estimé de ${\displaystyle {\hat {\theta _{n}}}}$. On a alors

${\displaystyle \mathbb {P} (\theta \in C_{n}){\underset {n\rightarrow +\infty }{\longrightarrow }}1-\alpha }$

Tests

Test de Wald

Comme l'estimateur du maximum de vraisemblance est asymptotiquement normal, on peut appliquer le test de Wald^[14].

On considère l'hypothèse nulle :

${\displaystyle H_{0}:\theta =\theta _{0}}$

contre l'hypothèse alternative

${\displaystyle H_{a}:\theta \neq \theta _{0}}$

L'estimateur ${\displaystyle {\hat {\theta }}}$ est asymptotiquement normal :

${\displaystyle {\frac {{\hat {\theta }}-\theta _{0}}{\widehat {\sigma _{\hat {\theta }}}}}\sim {\mathcal {N}}(0,1)}$

avec ${\displaystyle {\widehat {\sigma _{\hat {\theta }}}}}$ l'écart-type estimé de l'estimateur ${\displaystyle {\hat {\theta }}}$

On définit la statistique de test :

${\displaystyle W={\frac {{\hat {\theta }}-\theta _{0}}{\widehat {\sigma _{\hat {\theta }}}}}}$

On rejette alors l'hypothèse nulle avec un risque de première espèce ${\displaystyle \alpha }$ lorsque la valeur absolue de la statistique de test est supérieure au quantile d'ordre ${\displaystyle 1-\alpha /2}$ de la loi normale centrée réduite :

${\displaystyle |W|>\Phi ^{-1}(1-\alpha /2)}$

avec ${\displaystyle \Phi ^{-1}(.)}$ la fonction quantile de la loi normale centrée réduite.

La p-value s'écrit alors^[15] :

${\displaystyle {\text{p-value}}=2\Phi (-|w|)}$

avec w la valeur de la statistique de test dans les données.

Test du rapport de vraisemblance

Si on appelle ${\displaystyle \theta }$ le vecteur des paramètres estimés, on considère un test du type^[16] :

${\displaystyle H_{0}:\theta \in \Theta _{0}}$

contre

${\displaystyle H_{a}:\theta \notin \Theta _{0}}$

On définit alors ${\displaystyle {\hat {\theta }}}$ l'estimateur du maximum de vraisemblance et ${\displaystyle {\widehat {\theta _{0}}}}$ l'estimateur du maximum de vraisemblance sous ${\displaystyle H_{0}}$. On définit enfin la statistique du test :

${\displaystyle \lambda =-2\log \left({\frac {{\mathcal {L}}({\hat {\theta _{0}}})}{{\mathcal {L}}({\widehat {\theta }})}}\right)}$

On sait que sous l'hypothèse nulle, la statistique du test du rapport de vraisemblance suit une loi du ${\displaystyle \chi ^{2}}$ avec un nombre de degrés de liberté égal au nombre de contraintes imposées par l'hypothèse nulle (p) :

${\displaystyle \lambda (x_{1},\ldots ,x_{n})\sim \chi ^{2}(p)}$

Par conséquent, on rejette le test au niveau ${\displaystyle \alpha }$ lorsque la statistique de test est supérieure au quantile d'ordre ${\displaystyle 1-\alpha }$ de la loi du ${\displaystyle \chi ^{2}}$ à p degrés de libertés.

On peut donc définir la valeur limite (p-value)^{[note 1]} de ce test :

${\displaystyle {\text{p-value}}=1-F_{\chi _{p}^{2}}(\lambda )}$

Exemples

Loi de Poisson

On souhaite estimer le paramètre ${\displaystyle \lambda }$ d'une loi de Poisson à partir d'un n-échantillon :

${\displaystyle f(x,\lambda )=P_{\lambda }(X=x)={\rm {e}}^{-\lambda }{\frac {\lambda ^{x}}{x!}}}$

L'estimateur du maximum de vraisemblance est : ${\displaystyle {\hat {\lambda }}_{ML}={\bar {x}}}$

Il est tout à fait normal de retrouver dans cet exemple didactique la moyenne empirique, car c'est le meilleur estimateur possible pour le paramètre ${\displaystyle \lambda }$ (qui représente aussi l'espérance d'une loi de Poisson).

Loi exponentielle

On souhaite estimer le paramètre ${\displaystyle \alpha }$ d'une loi exponentielle à partir d'un n-échantillon.

${\displaystyle f(x,\alpha )=f_{\alpha }(x)={\begin{cases}\alpha {\rm {e}}^{-\alpha x}&{\text{si}}\quad x\geq 0\\0&{\text{sinon}}\end{cases}}}$

L'estimateur du maximum de vraisemblance est : ${\displaystyle {\hat {\alpha }}_{ML}={\frac {1}{\bar {x}}}}$

Là encore, il est tout à fait normal de retrouver l'inverse de la moyenne empirique, car on sait que l'espérance d'une loi exponentielle correspond à l'inverse du paramètre ${\displaystyle \alpha }$.

Loi normale

L'estimateur du maximum de vraisemblance de l'espérance ${\displaystyle \mu }$ et la variance ${\displaystyle \sigma ^{2}}$ d'une loi normale est^[17] :

${\displaystyle {\hat {\mu }}_{ML}={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$

${\displaystyle {\widehat {\sigma }}_{ML}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}$

L'estimateur de la variance est un bon exemple pour montrer que le maximum de vraisemblance peut fournir des estimateurs biaisés. En effet, un estimateur sans biais est donné par : ${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}$. Néanmoins, asymptotiquement, quand n tend vers l'infini, ce biais, qui est de ${\displaystyle {\frac {-\sigma ^{2}}{n}},}$ tend vers 0 et l'estimateur est alors asymptotiquement sans biais.

Loi uniforme

Dans le cas de l'estimation de la borne supérieure d'une loi uniforme, la vraisemblance ne peut pas être dérivée^[18].

On souhaite estimer le paramètre a d'une loi uniforme à partir d'un n-échantillon.

${\displaystyle f(x,a)=f_{a}(x)={\begin{cases}{\frac {1}{a}}&{\text{si}}\quad x\in [0;a]\\0&{\text{sinon}}\end{cases}}}$

La vraisemblance s'écrit :

${\displaystyle L(x_{1},\ldots ,x_{i},\ldots ,x_{n};a)=\prod _{i=1}^{n}f_{a}(x_{i})={\begin{cases}0&{\text{si}}\quad a<\max(x_{1},\ldots ,x_{n})\\{\frac {1}{a^{n}}}&{\text{si}}\quad a\geq \max(x_{1},\ldots ,x_{n})\end{cases}}}$

Cette fonction n'est pas dérivable en ${\displaystyle \max(x_{1},\ldots ,x_{n})}$. Sa dérivée s'annule sur tout l'intervalle ${\displaystyle [0,\max(x_{1},\ldots ,x_{n})[}$. Il est clair que pour trouver le maximum de cette fonction il ne faut pas regarder là où la dérivée s'annule.

La valeur de L sera maximale pour ${\displaystyle {\hat {a}}=\max(x_{1},\ldots ,x_{n})}$, car ${\displaystyle {\tfrac {1}{a^{n}}}}$ est décroissante pour ${\displaystyle a>0}$.

Cet exemple permet de montrer également que le logarithme de la vraisemblance n'est pas toujours bien défini (sauf si on accepte que ${\displaystyle \ln(0)=-\infty }$).

Applications

La méthode du maximum de vraisemblance est très souvent utilisée. Elle est notamment utilisée pour estimer le modèle de régression logistique ou le modèle probit. Plus généralement, elle est couramment utilisée pour estimer le modèle linéaire généralisé, classes de modèle qui inclut la régression logistique et le modèle probit.

Bibliographie

• (en) Larry Wasserman, All of Statistics : A Concise Course in Statistical Inference, New York, Springer-Verlag, 15 septembre 2004, 461 p. (ISBN 978-0-387-40272-7, lire en ligne)
• (en) Colin Cameron et Pravin Trivedi, Microeconometrics : Methods And Applications, Cambridge University Press, 2005, 1056 p. (ISBN 978-0-521-84805-3, lire en ligne)

Notes et références

Notes

Références

Voir aussi

• Le maximum a posteriori est une généralisation quand la distribution a priori n'est pas uniforme.
• Vraisemblance empirique (en)
• Information de Fisher
• Fonction de vraisemblance
• Méthode delta

• Portail des probabilités et de la statistique