Notes de Cours d'Inférence Statistique
Table des matieres
1 Introduction#
1.1 Evaluation#
- CC Examen.
- Répartition : partiel, Interro (prévue le 26/01).
1.2 Modèle Statistique#
Un modèle statistique est un espace de probabilité où est une famille de lois de probabilité .
- Si : modèle paramétrique.
- Sinon : modèle non paramétrique.
Exemple 1 (Familles de lois).
- Lois de Poisson : .
- Densité régulière : .
Une observation est une variable aléatoire (v.a.) dont la loi appartient à . Notre observation aura une structure de -échantillons i.i.d. (indépendants et identiquement distribués) de loi commune .
est de loi . L’échantillon contient toute l’information sur , donc sur .
Un modèle est identifiable si et seulement si (ssi) l’application est injective.
1.3 Estimateurs#
Hypothèse : On observe i.i.d. de loi commune (modèle paramétrique identifiable). Soit la vraie valeur inconnue telle que .
Un estimateur de est une fonction de l’échantillon mesurable et indépendante de (calculable à partir des données).
Notation : . C’est une variable aléatoire.
Exemples : , , etc.
Questions fondamentales :
- Comment définir un bon estimateur ?
- Comment construire un bon estimateur ?
1.4 Risque quadratique#
Idée : En moyenne, doit être proche de . On regarde .
Définition 5 (Biais).
Le biais de est défini par :
On dit que est sans biais si .
Définition 6 (Risque quadratique / MSE).
C’est la Mean Squared Error (MSE) en anglais.
On dit que est meilleur que ssi .
1.4.1 Exemple : Modèle de Poisson#
Soit de loi de Poisson, . On cherche un estimateur de .
Proposons : .
Calcul du Biais :
Donc , est l’estimateur sans biais.
Calcul du Risque :
Théorème 1 (Décomposition Biais-Variance du risque).
Preuve 1.
1.5 Consistance#
Propriété asymptotique. On ne considère que des estimateurs consistants.
Définition 7 (Consistance).
Soit i.i.d. de loi . Soit . est un estimateur consistant (ou convergent) de ssi :
est fortement consistant ssi .
1.5.1 Exemple : Retour au modèle de Poisson#
, .
- On peut invoquer la Loi des Grands Nombres (LGN) : .
-
Via le risque quadratique :
D’après l’inégalité de Bienaymé-Tchebychev :
1.5.2 Méthode « Plug-in »#
Soit i.i.d. Poisson. On veut estimer .
est consistant pour estimer .
Si , alors pour toute fonction continue .
2 Estimateurs#
2.1 Cadre paramétrique#
2.1.1 Modèle statistique paramétrique#
On dispose d’une observation (), un échantillon de variable aléatoire i.i.d (indépendantes, identiquement distribuées) de loi commune appartenant à une famille de lois de probabilités paramétrée .
Si espace de dimension infinie modèle non-paramétré.
Estimer c’est estimer .
, , , loi de densité
,
Loi de
Définition 8 (Estimateur).
Définition 9 (Qualité).
-
Risque
-
Consistance
Définition 10 (Modèle identifiable).
2.2 Méthode des moments#
Définition 11.
On appelle moment théorique de la loi de d’ordre :
Définition 12.
On appelle moment empirique de la loi des d’ordre :
Par la loi des grands nombres .
La méthode des moments: si on peut écrire ou paramètre d’intérêt comme une fonction des premiers moments théoriques.
alors l’estimateur
est obtenu par la méthode.
Exemple 3 (Des calculs des estimateurs en utilisant la méthode des moments).
-
à valeurs 0-1,
-
, , par la méthode des moments,
-
i.i.d. de la loi de densité
Méthode des moments:
2.3 Rendu sur le L.A.C.#
(L.A.C = lemme des applications continues) suite de variables aléatoires. Si converge vers , que peut-on dire de ? Si continue, LAC.
- si alors
- si alors
Remarque 4 (Condition suffisante).
si , le LAC est vrai.
Exemple 4.
- LGN:
- LAC:
LAC pour des couples de suites de variables aléatoires:
- si , alors , si ou continue
- si , alors
Exemple 5.
LGN:
donc
constant de , continue sauf en de mesure nulle.
Mais c’est faux pour une converge en loi.
Proposition 1 (Convergence de couples).
Preuve 2.
- alors LAC continue donc et
-
convergence du couple?
Cette réciproque est fausse pour la converge en loi!
2.3.1 Variance empirique#
Si la admettent une esperance et une variance , on appelle variance empirique
estimateur des moments:
On remplace les moments théoriques par les moments empiriques
Consistance: ,
Exemple 6.
- calculer le biais de
- calculer le risque de
2.4 Méthode de maximum de vraisemblance#
2.4.1 Modèle donné#
est donné s’il existe une mesure (positive définie à valeurs dans , avec finie) telle que admet une densité par rapport à .
2.4.2 En pratique#
-
soit au plus dénombrable: = mesure de comptage. Si tq , alors avec mesure de dirac.
Exemple 7.
, , probas On écrira - soit , alors est la densité usuelle
densité de
Définition 13.
On appelle vraisemblance de l’échantillon la fonction
Définition 14.
Un estimateur du max de vraisemblance est définie par:
On travaille souvent avec la log-vraisemblance
Remarque 5.
est une variable aléatoire
Exemple 8.
-
, , à valeurs 0-1
Equation de vraisemblance:
le point critique, est-il un maximum?
- La dérivée change de signe en on a bien un max
- Condition du 2nd ordre, si pour tout est concave max global
3 Information de Fisher, efficacité#
Soit , (identifiable, donnée). On note densité de
Étant donné , i.i.d. de loi et la vraisemblance de l’échantillon. Sur on peut calculer
Objectif: que peut-on avoir de « mieux » comme estimateur? modèle régulier
3.1 Modèle régulier#
Définition 15.
Le modèle est dit régulier si
- est un ouvert et est
- ne dépend pas de :
-
Pour tout , l’application
est intégrable et l’intégrale
est continue sur .
On note la dérivée de par rapport à : La quantité est appelée Information de Fisher du modèle.
Exemple 9.
-
densité par rapport à
est sur ,
continue sur
Exemple 10.
, , , , densité par rapport à
Pour tout , est
continue sur
modèle non régulier
3.2 Score et Information de Fisher#
i.i.d de loi de
On appelle score ou vecteur de score la dérivée de la log vraisemblance
, , , donc
Remarque 6.
Hyp supplémentaire de régularité: pour tout estimateur et tout , les intégrales suivantes existent et sont égales:
Remarque 7.
condition d’application du thm de dérivation de Lebesgue.
Proposition 3.
Sous , le score est centré ,
Définition 17.
L’information de Fisher associé à
Exemple 13.
,
Proposition 4.
en effet,
Exemple 14.
i.i.d ,
3.3 Information de Fisher et derivée seconde#
Proposition 5.
En ajoutant que est et que vrai pour alors l’info de Fisher s’écrit encore
si EMV,
Si courbe très « piqué » en l’EMV (i.e. info. Fisher est grande) alors l’EMV est localisé de façon précise
3.4 Inégalité de Cramer - Rao#
Soit le paramètre d’intérêt où
Proposition 6.
Sous les hypothèses d’un modèle régulier, si pour tout , , alors pour tout estimateur sans biais, , on a
Preuve 3.
Inégalité de Cauchy-Schwarz pour avec et centrées
Si réalise l’égalité, alors est dit efficace.
4 Étude asymptotique des estimateurs#
Dans un moddèle paramétrique régulier, si estimateur de , alors
si sans biais, est efficace efficace
Asymptotique: ,
4.1 Convergences#
suite de variables aléatoires réelles
- convergence en loi: ssi en tout point de continuité de .
Lemme 2 (lemme de Portmanteau).
Caractérisations équivalentes:
-
Pour toute fonction continue bornée ,
la convergence en loi est stable par passage aux fonctions continues (LAC) MAIS il est en général faux que si et alors
Cela est vrai dans 3 cas:
- (Lemme de Slutsky) (le plus important)
en appliquant le LAX,
4.2 Consistance des estimateurs#
Définition 19.
asymptotiquement sans biais si et seulement si
Remarque 8.
La convergence en proba n’implique pas la convergence des espérances.
Si , , alors par convergence dominée dans
Exemple 15.
estimateur des moments de