le logo du site

6. Estimation.

6.1.6. Estimateur efficace. \(\ast\)

Soit une v.a. \(X\) dont la loi dépend d’un paramètre \(\theta \in \Theta\). Pour étudier sa loi nous considérons soit ses probabilités \(f(x\ ;\ \theta)=P(X=x\ ;\ \theta)\) (cas discret), soit sa densité \(f(x\ ;\ \theta)\) (cas continu). Nous utiliserons dans les énoncés la fonction de densité, mais le cas discret est tout à fait analogue. Soit \(X_{\bullet}=(X_1,\ \cdots,\ X_n)\) un \(n\)-échantillon de \(X\) et \(T(X_{\bullet})\) une statistique que nous utilisons comme estimateur de \(\theta\). Nous notons \(g(t\ ;\ \theta)\) sa densité et \(I_{X_{\bullet}}(\theta)\) la quantité d’information de Fisher apportée par \(X_{\bullet}=(X_1,\ \cdots,\ X_n)\) pour \(\theta \in \Theta\). La notion d’efficacité d’un estimateur est fondée sur le résultat suivant, appelé inégalité de Cramér-Rao en l’honneur de ces deux grands mathématiciens-statisticiens.

Propriété 1. Nous supposons que l’ensemble des conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) est satisfait et que :

\[ {\mathbb E}_{\theta}\left\lbrack T(X_{\bullet})\right\rbrack=h(\theta)\quad {\rm et}\quad {\mathbb V}ar_{\theta}\left\lbrack T(X_{\bullet})\right\rbrack \]

existent pour tout \(\theta \in \Theta\), alors :

\[ {\mathbb V}ar_{\theta}\left\lbrack T(X_{\bullet})\right\rbrack\geq \frac{(h^{\prime}(\theta))^2}{I_{X_{\bullet}}(\theta)},\quad \forall\theta \in \Theta, \]

avec l’égalité si et seulement si :

\[ \frac{\partial \ln(L(x_{\bullet}\ ;\ \theta))}{\partial\theta}= a(\theta)\Big(T(x_{\bullet})-h(\theta)\Big), \quad \forall \theta \in \Theta,\ x_{\bullet}\in {\mathbb R}^n. \]

Interprétation. Cette inégalité nous indique que la variance d’un estimateur ne peut être aussi petite que nous voulons. Il y a un minimum de variation et une imprécision dans les estimations que nous sommes obligés de subir.

Remarque 1. La preuve de la propriété est une conséquence de l’application de l’inégalité de Cauchy-Schwarz à :

\[ h^{\prime}(\theta)=\int_{{\mathbb R}^n} \Big( (T(x_{\bullet})-h(\theta))\sqrt{L(x_{\bullet}\ ;\ \theta)}\Big) \Big( \frac{\partial \ln(L(x_{\bullet}\ ;\ \theta))}{\partial\theta}\sqrt{L(x_{\bullet}\ ;\ \theta)}\Big) dx_{\bullet}. \]

Le cas d’égalité se déduit du cas d’égalité de cette dernière inégalité. \(\quad\square\)

Définition 1. Un estimateur qui satisfait à l’égalité dans inégalité de Cramér-Rao est appelé efficace.

Ainsi nous constatons que la notion d’efficacité est liée à la présence d’une famille exponentielle.

Remarque 2. Si l’estimateur \(T(X_{\bullet})\) est sans biais, alors l’inégalité de Cramér-Rao s’écrit :

\[ {\mathbb V}ar_{\theta}\left\lbrack T(X_{\bullet})\right\rbrack\geq \frac{1}{I_{X_{\bullet}}(\theta)},\quad \forall\theta \in \Theta. \]

Exemple 1. Considérons une v.a. \(X\) de loi \({\cal N}(\mu\ ;\ \sigma^2)\). Nous savons que les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) sont satisfaites et que l’information de Fisher pour le paramètre \(\mu\) est :

\[ I_{X_{\bullet}}(\mu)=\frac{n}{\sigma^2}. \]

Nous considérons deux estimateurs de \(\mu\). Le premier est la moyenne de toutes les observations, notée \(\overline{X}\). Le second, défini pour \(n\geq 7\), consiste à éliminer systématiquement les 3 premières et les 3 dernières observations, puis à faire la moyenne des observations restantes ; nous le notons :

\[ \widehat{X}=\frac{1}{n-6}\sum_{i=4}^{n-3}X_i. \]

Il est facile de constater que :

\[ {\mathbb E}_{\mu}\left\lbrack \overline{X}\right\rbrack={\mathbb E}_{\mu}\left\lbrack \widehat{X}\right\rbrack=\mu,\quad {\mathbb V}ar_{\mu}\left\lbrack \overline{X}\right\rbrack=\frac{\sigma^2}{n}\quad {\rm et}\quad {\mathbb V}ar_{\mu}\left\lbrack \widehat{X}\right\rbrack=\frac{\sigma^2}{n-6}. \]

Nous en déduisons :

\[ {\mathbb V}ar_{\mu}\left\lbrack \widehat{X}\right\rbrack > {\mathbb V}ar_{\mu}\left\lbrack \overline{X}\right\rbrack=\frac{\sigma^2}{n}=\frac{1}{I_{X_{\bullet}}(\mu)}, \]

c’est-à-dire que \(\overline{X}\) est un estimateur efficace et \(\widehat{X}\) ne l’est pas. \(\quad\square\)

Définition 2. Soit \({\cal T}\) l’ensemble des estimateurs de \(\theta\). Nous appelons efficacité de l’estimateur \(T\) en \(\theta\) l’expression :

\[ e(T\ ;\ \theta)=\frac{ \inf\lbrace{ \mathbb V}ar_{\theta}\left\lbrack T_1\right\rbrack\ ;\ T_1\in{\cal T}\rbrace}{{\mathbb V}ar_{\theta}\left\lbrack T\right\rbrack}. \]

Remarque 3. Nous avons toujours \( e(T\ ;\ \theta)\leq 1\), avec l’égalité lorsque \(T\) est efficace. Il est possible, lorsque \(n\rightarrow +\infty\), de définir une efficacité asymptotique.

Propriété 2. Nous supposons que l’ensemble des conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) est satisfait. Alors \(T\) est efficace si et seulement si \(T\) est exhaustif et sa densité vérifie :

\[ \frac{\partial \ln(g(t\ ;\ \theta))}{\partial\theta}= a(\theta)\Big(t-h(\theta)\Big), \quad \forall \theta \in \Theta,\ t\in {\mathbb R}, \]

Cette propriété montre le lien étroit qui existe entre efficacité et exhaustivité. Pour la voir il suffit d’utiliser la Propriété 4 de la page concernant l’information de Fisher et la même démarche que celle de la preuve de l’inégalité de Cramér-Rao pour obtenir :

\[ {\mathbb V}ar_{\theta}\left\lbrack T(X_{\bullet})\right\rbrack\geq \frac{(h^{\prime}(\theta))^2}{I_T(\theta)} \geq \frac{(h^{\prime}(\theta))^2}{I_{X_{\bullet}}(\theta)},\quad \forall\theta \in \Theta. \]

L’énoncé s’en suit. \(\quad\square\)

Nous concluons avec la version multivariée de l’inégalité de Cramér-Rao.

Propriété 3. Soit \(\theta,\ T(x_{\bullet}) \in{\mathbb R}^s\). Nous supposons que l’ensemble des conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) est satisfait. Alors si la matrice des variances-covariances de \(T\), notée \(\Sigma_T(\theta)\) existe, nous avons :

\[ \sideset{^t}{}{v}\Sigma_T(\theta)v \geq\ \sideset{^t}{}{v}\Big(\frac{\partial h(\theta)}{\partial \theta}\Big)\ I_{X_{\bullet}}^{-1}(\theta)\ \ \sideset{^t}{}{\Big(\frac{\partial h(\theta)}{\partial \theta}\Big)} v, \quad \forall\theta, v \in{\mathbb R}^s. \] Haut de la page.