le logo du site

6. Estimation.

6.1.5.b. Information de Fisher : lois discrètes. \(\ast\)

Nous donnons les quantités d’information de Fisher pour les lois discrètes usuelles.

Lois de Bernoulli. Soit \(X\) une v.a. de loi de Bernoulli \({\cal B}(1\ ;\ p)\). Le paramètre est \(\theta=p\in\Theta=\rbrack 0\ ;\ 1\lbrack\) et les probabilités s’écrivent \(f(x\ ;\ p)=p^x(1-p)^{1-x}\) avec le support \(S_p=\lbrace 0,\ 1\rbrace=S\) qui ne dépend pas du paramètre. Nous constatons que les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) sont satisfaites. Nous calculons :

\[ \ln(f(x\ ;\ p))=x\ln(p)+(1-x)\ln(1-p)\quad {\rm et}\quad \frac{\partial^2\ln(f(x\ ;\ p))}{\partial p^2}=-\frac{x}{p^2}-\frac{1-x}{(1-p)^2}. \]

Comme \({\mathbb E}\lbrack X\rbrack=p\), nous en déduisons :

\[\quad I_X(p)=\dfrac{1}{p(1-p)}.\quad \]
\(\square\)

Lois Binomiales. Soit \(X\) une v.a. de loi Binomiale \({\cal B}(n\ ;\ p)\). Le paramètre est \(\theta=p\in\Theta=\rbrack 0\ ;\ 1\lbrack\) et les probabilités s’écrivent \(f(x\ ;\ p)=\displaystyle\frac{n!}{k!(n-x)!}p^x(1-p)^{n-x}\) ; le support, qui est \(S_p=\lbrace 0,\ 1,\ \cdots,\ n\rbrace=S,\) ne dépend pas de ce paramètre. Nous constatons que les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) sont satisfaites. Nous calculons :

\[ \ln(f(x\ ;\ p))=\ln(\frac{n!}{k!(n-x)!})+x\ln(p)+(n-x)\ln(1-p) \]

et

\[ \frac{\partial^2\ln(f(x\ ;\ p))}{\partial p^2}=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}. \]

Comme \({\mathbb E}\lbrack X\rbrack=np\), nous en déduisons :

\[\quad I_X(p)=\frac{n}{p(1-p)}.\quad \]

Comme une v.a. suivant une loi Binomiale peut s’écrire comme somme de variables indépendantes de même loi de Bernoulli, l’information de Fisher de cette dernière et l’additivité de cette information, nous donne directement le résultat précédent. \(\quad\square\)

Lois de Poisson. Soit \(X\) une v.a. de loi de Poisson \({\cal P}(\lambda)\). Le paramètre est \(\theta=\lambda\in\Theta={\mathbb R}_+^{\star}\) et les probabilités s’écrivent \(f(x\ ;\ \lambda)=\displaystyle e^{-\lambda}\frac{\lambda^x}{x!}\) avec le support \(S_{\lambda}={\mathbb N}=S\) qui ne dépend pas du paramètre. Nous constatons que les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) sont satisfaites. Nous calculons :

\[ \ln(f(x\ ;\ \lambda))=-\lambda+x\ln(\lambda)+\ln(x!)\quad {\rm et}\quad \frac{\partial^2\ln(f(x\ ;\ \lambda))}{\partial \lambda^2}=-\frac{x}{\lambda^2}. \]

Comme \({\mathbb E}\lbrack X\rbrack=\lambda\), nous en déduisons :

\[\quad I_X(\lambda)=\frac{1}{\lambda}.\quad\]
\(\square\)

Lois Binomiales Négatives. Soit \(X\) une v.a. de loi Binomiale Négative \({\cal BN}(\nu\ ;\ p)\). Le paramètre est \(\theta=\ ^t(\nu\ ;\ p)\in\Theta={\mathbb R}_+^{\star}\times \rbrack 0\ ;\ 1\lbrack\) et les probabilités s’écrivent, en utilisant la fonction spéciale Bêta \(B\), \(f(x\ ;\ \nu,\ p)=\displaystyle \frac{p^{\nu} (1-p)^x}{xB(\nu\ ;\ x)}\) avec le support \(S_{\theta}={\mathbb N}=S\) qui ne dépend pas des paramètres. Nous constatons que les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) sont satisfaites. Nous avons :

\[ \ln(f(x\ ;\ \nu,\ p))=-\ln(x)-\ln(B(\nu\ ;\ x))+\nu\ln(p)+x\ln(1-p). \]

Ce qui nous permet d’établir :

\[ \frac{\partial^2\ln(f(x\ ;\ \nu,\ p))}{\partial p^2}=-\frac{\nu}{p^2}-\frac{x}{(1-p)^2},\quad \frac{\partial^2\ln(f(x\ ;\ \nu,\ p))}{\partial \nu^2}= -\frac{\partial^2\ln(B(\nu\ ;\ x))}{\partial \nu^2}, \] \[ \frac{\partial^2\ln(f(x\ ;\ \nu,\ p))}{\partial \nu\partial p}=\frac{1}{p}. \]

Comme \({\mathbb E}\lbrack X\rbrack=\displaystyle\frac{\nu(1-p)}{p}\), nous en déduisons :

\[\quad I_X(\nu,\ p)=\pmatrix{ \displaystyle{\mathbb E}\left\lbrack \frac{\partial^2\ln(B(\nu\ ;\ X))}{\partial \nu^2}\right\rbrack & -\displaystyle\frac{1}{p} \cr -\displaystyle\frac{1}{p} & \displaystyle\frac{\nu}{p^2(1-p)} \cr}.\quad\]

Il est clair que la quantité d’information concernant la paramètre \(\nu\) n’a de sens que lorsqu’il est un nombre réel. De plus cette information est difficile à calculer. Des éléments pour ce calcul sont donnés lors du calcul de l’information de Fisher pour les lois Bêta.\(\quad \square\)

Lois de Bernoulli Multivariées. Soit \(X= \sideset{^t}{}{(X_1,\ \cdots,\ X_r)}\) un v.a. de loi Bernoulli Multivariée \({\cal B}(1\ ;\ p_1,\ \cdots,\ p_r)\). Comme \(\displaystyle\sum_{j=1}^rp_j=1\), nous avons en réalité \(s=r-1\) paramètres à estimer ; c’est-à-dire que \(\theta=\sideset{^t}{}{(p_1,\ \cdots,\ p_s)} \in\Theta=\rbrack 0\ ;\ 1\lbrack^s\) avec \(0 < \displaystyle\sum_{j=1}^sp_j < 1\). De plus les probabilités s’écrivent

\[ f(x\ ;\ p)=\left(\prod_{j=1}^sp_j^{x_j}\right)(1-p_1-\cdots -p_s)^{1-x_1-\cdots-x_s}. \]

Ainsi \(\sideset{^t}{}{(x_1,\ \cdots,\ x_s)}\in S_{\theta}=\lbrace 0,\ 1\rbrace^s=S\) avec \(\displaystyle\sum_{j=1}^sx_j\leq 1\) ; le support \(S\) ne dépend pas des paramètres. Nous en déduisons que les conditions (CR 0), (CR 1), (CR 2), (CR 3) et (CR 4) sont satisfaites. Nous calculons :

\[ \ln(f(x\ ;\ p))=\sum_{j=1}^sx_j\ln(p_j)+(1-x_1-\cdots-x_s)\ln(1-p_1-\cdots -p_s), \] \[ \forall j\in\lbrace 1,\ \cdots,\ s\rbrace,\quad \frac{\partial^2\ln(f(x\ ;\ p))}{\partial p_j^2}=-\frac{x_j}{p_j^2}-\frac{1-x_1-\cdots-x_s}{(1-p_1-\cdots -p_s)^2}. \] \[ \forall j_1,\ j_2\in\lbrace 1,\ \cdots,\ s\rbrace,\ j_1\not= j_2, \quad \frac{\partial^2\ln(f(x\ ;\ p))}{\partial p_{j_1}\partial p_{j_2}}=-\frac{1-x_1-\cdots-x_s}{(1-p_1-\cdots -p_s)^2}. \]

Comme \({\mathbb E}\lbrack X_j\rbrack=p_j,\ \forall j\in\lbrace 1,\ \cdots,\ s\rbrace\), nous en obtenons la matrice d’information de Fisher :

\[\quad I_X(\ p_1,\ \cdots,\ p_s)=\frac{1}{1-\ p_1-\cdots-p_s}{\mathbb 1}_{s\times s}+Diag(\frac{1}{p_1},\ \cdots,\ \frac{1}{p_s}),\quad\]

où \({\mathbb 1}_{s\times s}\) est la matrice carrée de dimension \(s \times s\) ne comportant que des \(1\) et \(Diag(a_1,\ \cdots,\ a_s)\) la matrice diagonale ayant les éléments \(a_1,\ \cdots,\ a_s\) sur la diagonale principale. \(\quad\square\)

Lois Multinomiales. Soit \(X=\sideset{^t}{}{(X_1,\ \cdots,\ X_r)}\) un v.a. de loi Multinomiale \({\cal M}(n\ ;\ p_1,\ \cdots,\ p_r)\). Un raisonnement strictement analogue au précédent et l’additivité de l’information de Fisher nous donnent :

\[\quad I_X(\ p_1,\ \cdots,\ p_s)=\frac{n}{1-\ p_1-\cdots-p_s}{\mathbb 1}_{s\times s}+nDiag(\frac{1}{p_1},\ \cdots,\ \frac{1}{p_s}).\quad\]

\(\square\)

Haut de la page.