6.0. Généralités sur l’Estimation.
6.1. Propriétés d’un estimateur.
6.2. Méthodes d’estimation.
6.2.1. Méthode des moments.
6.2.2. Maximum de vraisemblance (cas univarié).
6.2.3. Maximum de vraisemblance (cas multivarié).\(\ast\)
6.2.4. Fonctions d’estimation.\(\ast\)
6.2.5. Khi-deux minimum.
6.2.6. Méthode de Bayes.\(\ast\)
6.3. Estimation par intervalle.
6.4. Estimation de caractéristiques.
6.5. Estimation d’une f.r. .
6.6. Estimation d’une densité.
6.7. Estimation des paramètres de lois.
Références bibliographiques.
Notations.
Commandes de R.
Index alphabétique.
Index des Mathématiciens - Statisticiens.
© Photis NOBELIS, 2009 à
.
Ancien Maître de Conférences en Statistique de l'Université Louis Pasteur de Strasbourg.
Je vous remercie de me signaler toutes mes omissions, erreurs, propositions d’amélioration du site, etc. Dans la mesure du possible, si mon temps le permet, je répondrai également à vos questions.
Nous présentons une méthode de construction d’estimateurs qui est une généralisation du maximum de vraisemblance. Soit \(X\) une v.a. dont la loi dépend d’un paramètre \(\theta \in \Theta\subset {\mathbb R}\). Soit \(X_{\bullet}\) un \(n-\)échantillon de \(X\). Nous supposons que les conditions (CR 0), (CR 1) et (CR 2) sont satisfaites.
Définition 1. Nous appelons fonction d’estimation toute fonction \(\psi(x\ ;\ \theta)\) continue, monotone en \(\theta\), pour tout \(x\), et satisfaisant à la condition, chaque fois qu’elle a un sens :
\[ {\mathbb E}_{\theta}\lbrack \psi(X\ ;\ \theta)\rbrack=0,\quad \forall \theta \in \Theta. \]Exemple. Nous supposons que la v.a. \(X\) suit une loi de Gamma \({\cal GA}(\alpha\ ;\ 1)\) avec \(\alpha\in {\mathbb R}_+^{\star}=\Theta\), paramètre inconnu. Nous savons que :
\[ {\mathbb E}_{\alpha}\lbrack X\rbrack=\alpha\quad {\rm et}\quad {\mathbb E}_{\alpha}\lbrack X^2\rbrack=\alpha(\alpha+1). \]Nous posons :
\[ \psi_1(x\ ;\ \alpha)=x-\alpha\quad {\rm et}\quad \psi_2(x\ ;\ \alpha)=x^2-\alpha(\alpha+1). \]Il est clair que ce sont deux fonctions d’estimation.
Propriété 1. Toute solution \(T(x_{\bullet})\) de l’équation en \(\theta,\)
\[ \sum_{i=1}^n\psi(x_i\ ;\ \theta)=0, \]est une réalisation d’un estimateur \(T(X_{\bullet})\) convergeant en probabilité vers la «vraie» valeur de \(\theta\).
Exemple. Dans l’exemple précédent nous obtenons :
\[ \sum_{i=1}^n\psi_1(x_i\ ;\ \alpha)=\sum_{i=1}(x_i-\alpha)=0\quad \Longrightarrow\quad T_1(X_{\bullet})={\overline X}=\frac{1}{n}\sum_{i=1}^nX_i. \]La convergence de cet estimateur n’est rien d’autre que la loi faible des grands nombres. Pour ce qui est de la deuxième fonction d’estimation nous avons :
\[ \sum_{i=1}^n\psi_2(x_i\ ;\ \alpha)=\sum_{i=1}(x_i^2-\alpha(\alpha+1))=0\quad \Longrightarrow\quad T_2(X_{\bullet})=\frac{\sqrt{4m_2(x_{\bullet})+1}-1}{2}, \]où \(m_2(x_{\bullet})\) est le moment d’ordre 2 de l’échantillon. Nous avons également la convergence de l’estimateur \(T_2(X_{\bullet})\).
Propriété 2. Nous supposons que \(\displaystyle{\mathbb E}_{\theta}\Big\lbrack \frac{\partial \psi(X\ ;\ \theta)}{\partial\theta}\Big\rbrack\) existe, est finie et non nulle, et que \({\mathbb E}_{\theta}\lbrack \psi^2(X\ ;\ \theta)\rbrack\) existe. Alors:
\[ \lim_{n\rightarrow +\infty} {\cal L}_{\theta}\left(\sqrt{n}(T(X_{\bullet})-\theta)\right)={\cal N}(0\ ;\ \sigma_T^2(\theta)), \]où
\[ \sigma_T^2(\theta)=\frac{{\mathbb E}_{\theta}\Big\lbrack \psi^2(X\ ;\ \theta)\Big\rbrack}{\Big({\mathbb E}_{\theta}\Big\lbrack\displaystyle \frac{\partial \psi(X\ ;\ \theta)}{\partial\theta}\Big\rbrack\Big)^2}. \]Exemple. Dans l’exemple précédent, toutes les conditions sont satisfaites par les deux fonctions d’estimation. Nous avons :
\[ {\mathbb E}_{\alpha}\lbrack \psi_1^2(X\ ;\ \alpha)\rbrack={\mathbb E}_{\alpha}\lbrack (X-\alpha)^2\rbrack={\mathbb V}ar_{\alpha}\lbrack X\rbrack=\alpha,\quad \Big({\mathbb E}_{\alpha}\Big\lbrack\frac{\partial \psi_1(X\ ;\ \alpha)}{\partial\alpha}\Big\rbrack\Big)^2=\Big({\mathbb E}_{\alpha}\lbrack -1\rbrack\Big)^2=1. \]La Propriété 2 nous permet d’écrire :
\[ \lim_{n\rightarrow +\infty} {\cal L}_{\alpha}\left(\sqrt{n}(T_1(X_{\bullet})-\alpha)\right)={\cal N}(0\ ;\ \alpha), \]Remarquons tout d’abord que ce résultat est en fait une conséquence directe du Théorème de la Limite Centrale, ensuite de la Propriété 4 des lois Gamma nous avons la loi exacte \({\cal L}(nT_1(X_{\bullet}))={\cal GA}(n\alpha\ ;\ n)\). Pour le deuxième estimateur nous avons :
\[ {\mathbb E}_{\alpha}\lbrack \psi_2^2(X\ ;\ \alpha)\rbrack={\mathbb E}_{\alpha}\lbrack (X^2-\alpha(\alpha+1))^2\rbrack=2\alpha(2\alpha+3)(\alpha+1), \] \[ \Big({\mathbb E}_{\alpha}\Big\lbrack\frac{\partial \psi_2(X\ ;\ \alpha)}{\partial\alpha}\Big\rbrack\Big)^2=\Big({\mathbb E}_{\alpha}\lbrack -2\alpha-1\rbrack\Big)^2=(2\alpha+1)^2. \]d’où
\[ \lim_{n\rightarrow +\infty} {\cal L}_{\alpha}\left(\sqrt{n}(T_2(X_{\bullet})-\alpha)\right)={\cal N}\Big(0\ ;\ \frac{2\alpha(2\alpha+3)(\alpha+1)}{(2\alpha+1)^2}\Big). \]Propriété 3. Si les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 5) sont satisfaites alors la fonction \(\psi(x\ ;\ \theta)=\displaystyle\frac{\partial \ln(f(x\ ;\ \theta))}{\partial\theta}\) est une fonction d’estimation. La solution \(T(x_{\bullet})\) de l’équation d’estimation est une réalisation de l’estimateur du maximum de la vraisemblance et \(\sigma_T^2(\theta)=\displaystyle\frac{1}{I(\theta)}.\)
Exemple. Dans l’exemple précédent, toutes les conditions (CR) sont satisfaites. Toute solution \(T(x_{\bullet})\) de l’équation de vraisemblance vérifie l’égalité :
\[ \frac{\Gamma^{\prime}(T(x_{\bullet}))}{\Gamma(T(x_{\bullet}))}=\frac{1}{n}\sum_{i=1}^n\ln(x_i). \]Nous n’avons que des solutions numériques de cette équation et pas une expression explicite de l’estimateur du maximum de vraisemblance. Cependant ce dernier est asymptotiquement efficace, ce qui n’est pas le cas des deux estimateurs précédents.\(\quad\square\)
Références. Des détails sur cette méthode sont donnés dans l’ouvrage de V. P. Godambe (1991), celui de E. L. Lehmann, G. Casella (1998) et celui de S. S. Wilks (1969).
Haut de la page.