Fonction d'influence

La fonction d'influence, ou courbe d'influence, est un outil statistique qui caractérise la sensibilité aux données aberrantes d'une statistique. Introduit par le statisticien Frank Hampel en 1968^[1],[2], il s'agit d'une notion centrale des statistiques robustes.

Soit ${\displaystyle T}$ une statistique définie en tant que fonctionnelle. Une fonctionnelle est une application qui prend comme argument une distribution de probabilité et donne en image une valeur numérique ou vectorielle. Par exemple, la moyenne peut être définie par la fonctionnelle ${\displaystyle T:F\mapsto T(F)=\mathbb {E} _{X\sim F}[X]}$. La fonction d'influence de la statistique ${\displaystyle T}$ quantifie sa sensibilité asymptotique lorsqu'une proportion infinitésimale des données est corrompue^[3].

Si ${\displaystyle T}$ est un estimateur consistant, la fonction d'influence ${\displaystyle FI(T,F_{0},x)}$ indique le biais asymptotique qu'induit une contamination infinitésimale par une valeur ${\displaystyle x}$, standardisé par le taux de contamination. Il s'agit donc d'une mesure de la robustesse de la fonctionnelle ${\displaystyle T}$. Une fonction d'influence bornée par rapport à ${\displaystyle x}$ avec des valeurs proches de ${\displaystyle 0}$ indique une fonctionnelle robuste, faiblement influencée par des valeurs aberrantes, tandis qu'une fonction d'influence non bornée, ou avec de grandes valeurs, indique une fonctionnelle non robuste.

La fonctionnelle associée à la moyenne arithmétique est ${\displaystyle T_{moy}:F\mapsto \mathbb {E} _{X\sim F}[X]}$.

Il est aisé de montrer que sa fonction d'influence est :

${\displaystyle FI(T_{moy},F,x)=x-\mu }$

où ${\displaystyle \mu }$ est l'espérance de la distribution ${\displaystyle F}$. Cette fonction n'est pas bornée, la moyenne arithmétique n'est donc pas robuste vis-à-vis des valeurs aberrantes : une seule observation ayant une valeur extrême peut induire un biais arbitrairement grand sur la moyenne.

La fonctionnelle définissant la médiane est ${\displaystyle T_{med}:F\mapsto F^{-1}(1/2)}$. Elle a pour fonction d'influence^[4] :

${\displaystyle FI(T_{med},F,x)={\frac {1}{2f(m)}}\chi _{\mathbb {R} ^{+}}(x-m)-\chi _{\mathbb {R} ^{-}}(x-m)}$

où ${\displaystyle f}$ désigne la densité de la distribution ${\displaystyle F}$, ${\displaystyle m}$ la médiane de ${\displaystyle F}$ et ${\displaystyle \chi _{I}}$ la fonction indicatrice de l'intervalle ${\displaystyle I}$.

Cette fonction est bornée, et constante par morceaux. Toute contamination par une donnée supérieure (resp. inférieure) à la médiane a le même impact positif (resp.négatif) sur la médiane, quelle que soit sa valeur. Il s'agit donc d'un estimateur robuste. Par comparaison, une contamination de la moyenne par une valeur extrême a un impact plus important que par une donnée proche de la médiane.

L'estimateur de Huber du centre de ${\displaystyle n}$ observations ${\displaystyle x_{1},...,x_{n}}$ est défini comme la solution en ${\displaystyle \mu }$ de l'équation ${\displaystyle \sum _{i=1}^{n}\psi _{c}(x_{i}-\mu )=0}$ , où ${\displaystyle \psi _{c}(t)=\left\{{\begin{array}{ccc}-c&\mathrm {si} &t<-c\\t&\mathrm {si} &-c\leq t\leq c\\c&\mathrm {si} &t>c\end{array}}\right.}$ et ${\displaystyle c}$ est une constante à fixer par le statisticien. La fonctionnelle associée est donc ${\displaystyle T_{c}:F\mapsto \mu :\mathbb {E} _{X\sim F}\left(\psi _{c}(X-\mu )\right)=0}$. La fonction d'influence de cette estimateur est :

${\displaystyle FI(T_{c},F,x)=a(F)\cdot \psi _{c}(x-\mu )}$

où ${\displaystyle a(F)=1/P_{F}(|X-T_{c}(F)|<c)}$.

Cette fonction d'influence est bornée. Elle présente un compromis entre la robustesse de la médiane (sur laquelle tous les points ont la même influence) et la moyenne (sur laquelle un point à une influence proportionnelle à son écart à l'espérance de la distribution). Un point à une influence proportionnelle à son écart à ${\displaystyle T_{c}(F)}$ tant que cet écart reste inférieur à ${\displaystyle c}$, au-delà tous les points ont une influence valant ${\displaystyle \pm a(F)\times c}$.

Considérons un modèle linéaire ${\displaystyle Y=X^{T}\beta +\varepsilon }$ où ${\displaystyle Y}$ est un variable aléatoire réelle, ${\displaystyle \beta \in \mathbb {R} ^{p}}$ le vecteur des paramètres, ${\displaystyle X}$ une variable aléatoire à valeurs dans ${\displaystyle \mathbb {R} ^{p}}$ dont la première coordonnée vaut ${\displaystyle 1}$ (de sorte que ${\displaystyle \beta }$ comprend une ordonnée à l'origine) et ${\displaystyle \varepsilon }$ est une variable aléatoire réelle d'espérance nulle.

Étant donné ${\displaystyle n}$ observations ${\displaystyle (x_{i},y_{i})_{i=1,...,n}}$, l'estimateur des moindres carrés de ${\displaystyle \beta }$ est donné par ${\displaystyle {\hat {\beta }}=(\sum _{i=1}^{n}x_{i}x_{i}^{T})^{-1}\sum _{i=1}^{n}y_{i}x_{i}}$. La fonctionnelle associée à cet estimateur est

${\displaystyle T_{mc}(F_{X,Y})=\mathbb {E} _{(X,Y)\sim F_{X,Y}}(XX^{T})^{-1}\mathbb {E} _{(X,Y)\sim F_{X,Y}}(YX)}$

où ${\displaystyle F_{X,Y}}$ désigne la distribution jointe de ${\displaystyle X}$ et ${\displaystyle Y}$.

La fonction d'influence de cette fonctionnelle est:

${\displaystyle FI(T_{mc},F_{X,Y},(x,y))=\mathbb {E} (XX^{T})^{-1}(x^{t}\beta -y)x}$.

Cette fonction d'influence n'est pas bornée. L'estimateur des moindres carrés n'est donc pas robuste contre des données aberrantes. La fonction d'influence est le produit d'une matrice ${\displaystyle \mathbb {E} (XX^{T})}$ qui ne dépend pas de la contamination ${\displaystyle (x,y)}$, du résidu de la contamination ${\displaystyle x^{T}\beta -y}$, et de la variable explicative de la contamination ${\displaystyle x}$. Une donnée a donc un fort impact sur l'estimation si son résidu est élevé ou si sa variable explicative a une valeur extrême ^[5].

La fonction d'influence peut être vue comme une dérivée. Une fonctionnelle est une fonction de l'espace des distributions dans un espace vectoriel généralement réel de dimension fini. Il est souvent possible de développer une fonctionnelle autour d'une distribution donnée ${\displaystyle F_{0}}$ en :

${\displaystyle T(F_{0}+G)\approx T(F_{0})+\int FI(T,F_{0},x)dG(x)}$.

Le second terme de l'égalité étant linéaire en ${\displaystyle G}$, ce développement approxime ${\displaystyle T(F_{0}+G)}$ par une fonction linéaire en ${\displaystyle G}$ de manière analogue à un développement limité d'ordre 1.

Plus formellement, lorsqu'une fonctionnelle ${\displaystyle T}$ est différentiable au sens de Fréchet, la dérivée fonctionnelle de ${\displaystyle T}$ est donnée par ${\displaystyle DT_{F_{0}}:G\mapsto \int FI(T,F_{0},x)dG(x)}$.

La fonction d'influence donne aussi le développement de Von Mises d'ordre 1 de la statistique ${\displaystyle T}$.

La fonction d'influence peut également être introduite comme la limite de la courbe de sensibilité, parfois appelée fonction de sensibilité ou fonction d'influence empirique^[6]. Soit un échantillon aléatoire ${\displaystyle X_{1},...,X_{n}}$ et ${\displaystyle T(X_{1},...,X_{n})}$ une statistique. La courbe de sensibilité de la statistique ${\displaystyle T(X)}$ en l'échantillon ${\displaystyle X}$ est définie par :

${\displaystyle CS(T,(X_{1},...,X_{n}),z)=(n+1)\times \left(T(x_{1},...,x_{n},z)-T(x_{1},...,x_{n})\right).}$

Cette courbe (lorsque les données sont unidimensionnelles) est généralement représentée en fonction de ${\displaystyle z}$. Elle mesure l'effet d'une observation additionnelle ayant la valeur ${\displaystyle z}$ sur la statistique ${\displaystyle T}$.

Le facteur ${\displaystyle n+1}$ permet d'éviter que la courbe ne tende vers ${\displaystyle 0}$ lorsque ${\displaystyle n}$ augmente. En effet, on s'attend à ce que l'effet d'une donnée additionnelle au ${\displaystyle n}$ existantes soit de l'ordre de ${\displaystyle 1/(n+1)}$. On divise donc la différence par ${\displaystyle 1/(n+1)}$ ce qui revient à multiplier par ${\displaystyle n+1}$.

Supposons les ${\displaystyle X_{i}}$ indépendants et identiquement distribués selon une distribution ${\displaystyle F}$. Si la courbe de sensibilité tend vers une limite simple, presque sûrement, alors cette limite est la fonction d'influence de ${\displaystyle T}$ en ${\displaystyle F}$ :

${\displaystyle \forall z,CS(T,(X_{1},...,X_{n}),z){\overset {P}{\to }}FI(T,F,z)}$

Cependant, il existe des statistiques dont les courbes de sensibilité n'ont pas de limite. C'est le cas par exemple de la médiane. La fonction d'influence peut quand même exister (la fonction d'influence de la médiane est bien définie), mais elle ne correspond plus à la limite de la courbe de sensibilité.

La sensibilité aux erreurs aberrantes (gross error sensitivity en anglais) d'une statistique ${\displaystyle T}$ en une distribution ${\displaystyle F}$ est définie comme la borne supérieure (éventuellement infinie) de la norme de sa fonction d'influence. Dans le cas univarié, cette sensibilité s'écrit

${\displaystyle \gamma (T,F)=\sup _{z}|FI(T,F,z)|}$.

Dans le cas multivarié, le choix de la norme utilisée à la place de la valeur absolue donne différentes définitions:

• La sensibilité non standardisée, ${\displaystyle \gamma _{u}(T,F)=\sup _{z}\lVert FI(T,F,z)\rVert _{2}}$,
• La sensibilité auto-standardisée, ${\displaystyle \gamma _{s}(T,F)=\sup _{z}{\left\{FI(T,F,z)^{T}\cdot V_{T,F}^{-1}\cdot FI(T,F,z)\right\}}^{1/2}}$ où ${\displaystyle V_{T,F}}$ désigne la variance asymptotique de la statistique ${\displaystyle T}$,
• La sensibilité standardisée par l'information de Fisher ${\displaystyle \gamma _{i}(T,F)=\sup _{z}{\left\{FI(T,F,z)^{T}\cdot J\cdot FI(T,F,z)\right\}}^{1/2}}$ où ${\displaystyle J}$ désigne l'information de Fisher associée au paramètre ${\displaystyle T(F)}$, si celle-ci est disponible.

Il s'agit d'un indicateur de la robustesse d'une statistique ${\displaystyle T}$: plus cette sensibilité est faible, plus la statistique est robuste.

On dit qu'une statistique ou qu'un estimateur est B-robuste (B est l'initiale de bounded, signifiant borné en anglais) lorsque sa fonction d'influence est bornée, c'est-à-dire lorsque sa sensibilité aux erreurs aberrantes est finie. Intuitivement, cela signifie que cette statistique ne peut pas être "cassée" par une seule observation mal placée. Généralement, les estimateurs classiques ne sont pas B-robustes: moyennes, écart-type, estimateur des moindres carrés, la plupart des estimateurs par maximum de vraisemblance ou par méthode des moments. Plusieurs méthodes introduites par les statistiques robustes existent pour obtenir des estimateurs B-robustes.

La sensibilité aux variations locales (local shift sensitivity en anglais) donne une indication des variations de la fonction d'influence :

${\displaystyle \lambda =\sup _{x\neq y}{\frac {\lVert FI(T,F,x)-FI(T,F,y)\rVert }{\lVert x-y\rVert }}}$>.

Une fonction d'influence peut être bornée mais avoir une sensibilité aux variations locales finie et vice-versa.

Le point de rejet d'une statistique ${\displaystyle T}$ en ${\displaystyle F}$ est défini comme le rayon au delà duquel une observation n'a plus aucune influence sur la statistique, ${\displaystyle \rho (T,F)=\inf _{r}\{r>0:\forall x:|x|>r,FI(T,F,x)=0\}.}$ Une point de rejet fini signifie que la statistique ${\displaystyle T}$ n'est plus du tout influencée par des observations trop extrêmes. Ce peut être une propriété recherchée de certains estimateurs si l'on suspecte par exemple que des données aberrantes sont issues d'un processus différent des autres et n'apportent aucune information.

Le point de rupture (breakdown point en anglais) désigne la proportion de contamination suffisant à donner une valeur aberrante à un estimateur. Plus formellement, c'est la proportion minimale de contamination pouvant induire un biais asymptotique arbitrairement grand :

${\displaystyle \rho (T,F)=\inf \left\{\varepsilon :\sup _{z}\left\{\lVert T(F)-T\left((1-\varepsilon )F+\varepsilon \Delta _{z}\right)\rVert =+\infty \right\}\right\}}$.

Le point de rupture de la médiane est par exemple de ${\displaystyle 0.5}$ car il faut nécessairement changer la moitié des données pour pouvoir faire prendre à la médiane n'importe quelle valeur aberrante. Le point de rupture de la moyenne en revanche est de ${\displaystyle 0}$ car une seule donnée, placée suffisamment loin des autres, permet de donner à la moyenne n'importe quelle valeur.

Le point de rupture n'est pas défini à partir de la fonction d'influence mais il y est lié. En effet, un estimateur ayant un point de rupture non nul est nécessairement B-robuste. La réciproque n'est cependant pas vraie en général, il existe des estimateurs B-robustes ayant un point de rupture nul, même si ceux-ci sont rares.

La fonction d'influence est d'espérance nulle lorsque la contamination suit la même loi que les données :

${\displaystyle \mathbb {E} _{X\sim F}\left[FI(T,F,X)\right]=0}$.

Cette propriété, combinée à l'utilisation de la fonction d'influence comme développement limité permet une approximation intéressante. Considérons un échantillon ${\displaystyle X_{1},...X_{n}}$ de variables aléatoires indépendantes et identiquement distribuées suivant une distribution ${\displaystyle F}$ et notons ${\displaystyle {\hat {F}}_{n}}$ la fonction de répartition empirique de cet échantillon. Alors :

${\displaystyle {\begin{array}{rcl}T(X_{1},\cdots ,X_{n})&=&T({\hat {F}}_{n})\\&\approx &T(F)+\int FI(T,F,x)d({\hat {F}}_{n}-F)(x)\\&=&T(F)+\int FI(T,F,x)d{\hat {F}}_{n}(x)-\int FI(T,F,x)dF(x)\\&=&T(F)+\mathbb {E} _{X\sim {\hat {F}}_{n}}FI(T,F,X)-\mathbb {E} _{X\sim F}FI(T,F,X)\\&=&T(F)+{\frac {1}{n}}\sum _{i=1}^{n}FI(T,F,X_{i})-0.\end{array}}}$

Ce qui permet d'approximer ${\displaystyle T(F)}$ par ${\displaystyle T(X_{1},\cdots ,X_{n})-{\frac {1}{n}}\sum _{i=1}^{n}FI(T,F,X_{i})}$.

Cela peut être utile pour corriger un éventuel biais de ${\displaystyle T(X_{1},...,X_{n})}$ dû à la taille finie de l'échantillon. Cette correction est très proche de celle réalisée par la méthode du jackknife. Pour rendre ce lien plus explicite, on peut remplacer dans l'expression précédente ${\displaystyle FI(T,F,X_{i})}$ par ${\displaystyle n\times \left(T(X_{1},...,X_{n})-T(X_{1},\cdots ,X_{i-1},X_{i+1},\cdots ,X_{n})\right)}$, ce qui revient à approximer la fonction d'influence par la courbe de sensibilité.

La variance asymptotique d'une statistique ${\displaystyle T}$ est définie comme la limite de ${\displaystyle n\cdot \mathrm {var} \left(T(X_{1},...,X_{n})\right)}$ lorsque ${\displaystyle n}$ tend vers l'infini. Elle peut être calculée à partir de la fonction d'influence.

Notons ${\displaystyle X=(X_{1},...,X_{n})}$un échantillon aléatoire où les ${\displaystyle X_{i}}$ sont indépendants et identiquement distribués selon une distribution ${\displaystyle F}$. Alors, la variance asymptotique de ${\displaystyle T(X)}$ correspond à la variance de sa fonction d'influence :

${\displaystyle \lim _{n\to +\infty }n\cdot \mathrm {var} (T(X))=\mathbb {E} _{X\sim F}\left(FI(T,F,X)\cdot FI(T,F,X)^{T}\right).}$

La fonction d'influence d'un M-estimateur se calcule facilement à partir de sa fonction de score. Soit ${\displaystyle {\hat {\theta }}}$ un M-estimateur d'un paramètre ${\displaystyle \theta }$. Notons ${\displaystyle \psi }$ sa fonction de score. Étant donné un échantillon, cet estimateur est donc solution de l'équation ${\displaystyle \sum _{i=1}^{n}\psi (x_{i},\theta )=0}$.

Alors, si ${\displaystyle \theta }$ est consistent et vérifie quelques conditions de régularités, la fonction d'influence de ${\displaystyle {\hat {\theta }}}$ est donnée par :

${\displaystyle FI({\hat {\theta }},F,x)=-M^{-1}\cdot \psi (x,\theta )}$

où ${\displaystyle M=-\mathbb {E} _{X\sim F}\left[{\frac {\partial }{\partial \theta }}\psi (X,\theta )\right]}$ et où ${\displaystyle \theta }$ est la vraie valeur du paramètre.

La fonction d'influence d'un estimateur est donc proportionnelle à sa fonction de score. Il s'ensuit qu'un M-estimateur est B-robuste si et seulement si sa fonction de score est bornée. Cela donne une grande importance aux M-estimateurs dans les statistiques robustes. En effet il est facile de construire des estimateur robustes par exemple en tronquant simplement la fonction de score d'estimateurs existants (et en corrigeant le biais induit).

• Biais (statistique)
• Donnée aberrante
• M-estimateur
• Robustesse (statistiques)
• Winsorisation

• Portail des probabilités et de la statistique