L'Encyclopédie
Accueil · Mathématiques

Statistiques — Ce qu'il faut savoir lire

Le minimum pour ne pas être trompé par un chiffre. Aucune formule n'est nécessaire pour comprendre ce qui suit. Vous voulez connaître une quantité vraie dans une population entière : la taille…

Le minimum pour ne pas être trompé par un chiffre. Aucune formule n’est nécessaire pour comprendre ce qui suit.

1. L’INTERVALLE DE CONFIANCE

Le problème qu’il résout

Vous voulez connaître une quantité vraie dans une population entière : la taille moyenne des Français, le pourcentage de gens qui voteront X, l’efficacité d’un médicament.

Vous ne pouvez pas interroger tout le monde. Alors vous prenez un échantillon — mille personnes, disons — et vous mesurez.

Vous obtenez un nombre : 43 %. Mais ce nombre est faux. Pas parce que vous avez mal travaillé : parce que vous auriez obtenu un nombre différent avec un autre échantillon de mille personnes. Le hasard du tirage produit une variation.

L’intervalle de confiance sert à dire de combien votre nombre peut se tromper.

Ce que c’est

Un intervalle de confiance à 95 % est un intervalle produit par une méthode qui, si on la répétait un très grand nombre de fois sur des échantillons différents, contiendrait la vraie valeur dans 95 % des cas.

Exemple concret. Un sondage donne : 43 %, avec un intervalle de confiance à 95 % de [40 % ; 46 %].

Cela veut dire : j’ai utilisé une procédure qui a raison 19 fois sur 20. Cette fois-ci, elle me donne [40 ; 46]. Je ne sais pas si c’est l’un des 19 cas où elle a raison ou le vingtième où elle a tort.

⚠️ L’erreur d’interprétation, et elle est universelle

On dit couramment : « il y a 95 % de chances que la vraie valeur soit entre 40 et 46 ». C’est FAUX — au sens strict, dans le cadre statistique standard (fréquentiste).

Pourquoi c’est faux. La vraie valeur est une constante, pas une variable aléatoire. Le pourcentage réel d’électeurs de X est ce qu’il est — disons 44,7 %. Il ne « varie » pas, il n’a pas de « probabilité ». Il est soit dans votre intervalle, soit dehors. Il n’y a pas 95 % de chance qu’il y soit : il y est ou il n’y est pas, et vous ne le saurez jamais.

Ce qui est aléatoire, ce n’est pas la vraie valeur — c’est votre intervalle. À chaque nouvel échantillon, vous obtiendriez un intervalle différent. La propriété « 95 % » porte sur la méthode, pas sur le résultat particulier que vous avez sous les yeux.

L’image juste : vous lancez un fer à cheval sur un piquet. Le piquet ne bouge pas. C’est le fer qui vole. Dire « ce lancer a 95 % de chances d’être bon » est un abus de langage ; ce qui est vrai, c’est que votre bras réussit 95 % de ses lancers. Le lancer que vous venez de faire, lui, a déjà atterri.

(Note honnête : si l’on adopte le cadre bayésien, on peut construire un objet — l’intervalle de crédibilité — dont on a bel et bien le droit de dire « il y a 95 % de chances que la valeur y soit ». Mais cela suppose une hypothèse préalable, et ce n’est pas ce que produisent les sondages et les études cliniques que vous lisez. Quand on vous donne un IC, c’est le premier sens.)

Ce qui fait varier la largeur de l’intervalle

Trois choses, et trois seulement.

(a) La taille de l’échantillon. Plus il est grand, plus l’intervalle est étroit. Mais la précision progresse comme la racine carrée de n — ce qui est une très mauvaise nouvelle : pour diviser votre marge d’erreur par deux, il faut multiplier votre échantillon par quatre. Passer de 1 000 à 2 000 personnes ne vous fait gagner que 30 % de précision. C’est pourquoi les sondages plafonnent à 1 000 : au-delà, ça coûte cher et ça ne rapporte presque rien.

(b) La variabilité du phénomène. Si tout le monde répond pareil, un petit échantillon suffit. Si les réponses sont très dispersées, il en faut plus.

© Le niveau de confiance choisi. Vous voulez avoir raison 99 fois sur 100 au lieu de 95 ? L’intervalle s’élargit. Il y a un arbitrage inévitable : on ne peut pas être à la fois très sûr et très précis. Un intervalle à 100 % de confiance existe : c’est « entre 0 % et 100 % ». Il est parfaitement fiable et parfaitement inutile.

Ce qu’il faut en faire, concrètement

Règle 1 — un chiffre sans intervalle est un chiffre sans information. « Le taux de chômage est de 7,3 % » ne veut rien dire sans la précision de l’estimation. L’INSEE le sait et le publie ; les journaux ne le reprennent presque jamais.

Règle 2 — si deux intervalles se recouvrent largement, la différence n’est pas établie. Un sondage donne A à 43 % [40 ; 46] et B à 41 % [38 ; 44]. A n’est pas devant B. On ne sait pas qui est devant. La phrase « A creuse l’écart » est, dans ce cas, un mensonge par omission — et c’est le plus fréquent de la presse politique.

Règle 3 — la marge d’erreur annoncée est un plancher, pas un plafond. Elle ne mesure que l’erreur due au hasard du tirage. Elle ne mesure pas : les gens qui refusent de répondre (et qui ne sont pas comme les autres), ceux qui mentent, les questions mal posées, les redressements maison de l’institut. Ces erreurs-là sont souvent plus grandes que la marge affichée, et elles ne sont pas aléatoires — donc on ne peut pas les réduire en agrandissant l’échantillon.

2. La p-value, et pourquoi elle a empoisonné la science

Ce qu’elle est : la probabilité d’observer un résultat au moins aussi extrême que le vôtre si l’hypothèse nulle était vraie (c’est-à-dire : s’il n’y avait, en réalité, aucun effet).

Traduction : « si mon médicament ne servait à rien, quelle serait la probabilité que j’obtienne par pure chance un résultat aussi bon que celui-là ? » Si la réponse est « moins de 5 % » (p < 0,05), on déclare le résultat « significatif ».

Ce qu’elle n’est PAS — et ce sont les trois contresens majeurs :

  • Ce n’est pas la probabilité que l’hypothèse nulle soit vraie.
  • Ce n’est pas la probabilité que votre résultat soit un faux positif.
  • Ce n’est pas une mesure de la taille de l’effet. Un effet minuscule et sans intérêt peut être hautement « significatif » si l’échantillon est énorme. « Significatif » ne veut pas dire « important » : c’est un faux ami, et il a fait des dégâts considérables.

Le seuil de 0,05 est arbitraire. Il a été proposé par Ronald Fisher dans les années 1920, à titre de commodité, et il l’a lui-même dit. Il est devenu un couperet institutionnel : au-dessus, on ne publie pas.

Le p-hacking et la crise de la reproductibilité

Si l’on teste vingt hypothèses au hasard sur des données sans aucun effet réel, en moyenne une ressortira « significative à 5 % ». C’est la définition même du seuil.

D’où la pratique — souvent inconsciente : tester plusieurs variables, découper les sous-groupes, ajouter ou retirer des observations, essayer plusieurs analyses, et rapporter celle qui passe le seuil. C’est le p-hacking, et il est massif.

Le résultat est mesuré. Le Reproducibility Project en psychologie (Open Science Collaboration, Science, 2015) a tenté de reproduire 100 études publiées dans les meilleures revues : environ 36 % seulement ont donné un résultat significatif à la réplication, et les tailles d’effet étaient en moyenne deux fois plus petites. En économie, en biologie du cancer, en neurosciences, les taux sont du même ordre.

Les remèdes existent et sont en cours d’adoption : le préenregistrement (on déclare son analyse avant de voir les données, ce qui rend le p-hacking impossible), la publication des résultats négatifs, et l’abandon du seuil au profit de la taille d’effet et de son intervalle de confiance — ce qui ramène à la section 1.

3. Les cinq pièges qu’il faut savoir nommer

(a) Corrélation n’est pas causalité. Le point est connu, mais la raison pour laquelle il l’est ne l’est pas assez : il y a toujours trois explications concurrentes à une corrélation entre A et B. A cause B ; B cause A ; une troisième variable C cause les deux. C’est presque toujours la troisième. (Les ventes de glaces et les noyades sont corrélées : la chaleur cause les deux.)

(b) Le biais de sélection. Votre échantillon n’est pas représentatif, et vous ne le voyez pas.

Le cas d’école est magnifique. Pendant la Seconde Guerre mondiale, l’armée américaine étudie les impacts de balles sur les bombardiers qui reviennent, pour savoir où ajouter du blindage. Les impacts se concentrent sur les ailes et le fuselage. Conclusion apparente : blindons les ailes. Le statisticien Abraham Wald répond l’inverse : blindez les endroits où il n’y a AUCUN impact — le moteur, le cockpit. Pourquoi ? Parce que vous n’observez que les avions qui sont revenus. Ceux qui ont été touchés au moteur ne sont pas dans votre échantillon : ils sont au fond de la mer. C’est le biais du survivant, et il est partout : dans les biographies de milliardaires qui ont abandonné leurs études, dans les conseils des entrepreneurs qui ont réussi, dans les recettes de placement.

© La régression vers la moyenne. Un phénomène extrême a tendance, la fois suivante, à être moins extrême — pour la seule raison que l’extrême devait beaucoup à la chance, et que la chance ne se répète pas.

La conséquence pratique est contre-intuitive et importante. Kahneman la raconte avec des instructeurs de vol israéliens : après un excellent atterrissage, on félicite le pilote — et le suivant est moins bon. Après un mauvais, on l’engueule — et le suivant est meilleur. Les instructeurs en concluaient que la punition marche et que la récompense nuit. C’est faux : c’est la régression vers la moyenne, et rien d’autre. Une performance exceptionnelle est presque toujours suivie d’une performance plus ordinaire, quoi qu’on fasse. Le monde nous apprend en permanence que punir marche — et c’est une illusion statistique.

(d) Le paradoxe de Simpson. Une tendance peut s’inverser quand on regroupe les données. Le cas réel, et il est célèbre : en 1973, Berkeley semble discriminer les femmes à l’admission (44 % d’hommes admis, 35 % de femmes). Mais département par département, les femmes sont admises à un taux égal ou supérieur. Explication : elles candidataient massivement dans les départements les plus sélectifs. Les deux affirmations sont vraies en même temps, et il n’y a pas de « bonne » manière d’agréger — le choix du niveau d’analyse est le résultat.

(e) Confondre la probabilité conditionnelle et son inverse. P(A sachant B) n’est pas P(B sachant A).

Le cas médical, à connaître absolument. Une maladie touche 1 personne sur 1 000. Un test la détecte avec 99 % de fiabilité (99 % de vrais positifs, 1 % de faux positifs). Vous êtes positif. Quelle est la probabilité que vous soyez malade ?

La réponse intuitive est 99 %. La bonne réponse est environ 9 %.

Sur 10 000 personnes : 10 sont malades (dont le test en détecte ~10). 9 990 sont saines, et le test en déclare positives 1 %, soit ~100. Total des positifs : 110, dont 10 vrais. → 10/110 ≈ 9 %.

La raison est que la maladie est rare : les faux positifs, même à 1 %, sont bien plus nombreux que les vrais. C’est le théorème de Bayes, et c’est probablement le plus utile de tous les outils de cette fiche. Il explique pourquoi le dépistage de masse de maladies rares produit une avalanche de fausses alertes — et pourquoi les médecins eux-mêmes se trompent massivement sur cette question (des études le montrent depuis Gigerenzer, années 1990).

4. Objections et limites de cette fiche

Le cadre présenté ici est fréquentiste, et il est dominant, mais il est contesté. L’approche bayésienne — qui traite les paramètres comme incertains et permet de dire « il y a 95 % de chances que… » — répond mieux à l’intuition, mais exige de déclarer une croyance préalable (un prior), ce que beaucoup jugent arbitraire. Le débat entre les deux écoles est vieux d’un siècle et n’est pas tranché ; il s’agit d’une divergence sur ce que signifie le mot « probabilité ».

Et une mise en garde sur la mise en garde. La critique des statistiques est devenue elle-même un genre, et elle sert parfois à écarter n’importe quel résultat gênant (« de toute façon les chiffres, on leur fait dire ce qu’on veut »). C’est l’usage le plus stupide de cette fiche. L’existence de mauvaises études ne rend pas les bonnes équivalentes aux mauvaises : elle rend nécessaire de savoir les distinguer. C’est exactement ce à quoi servent l’intervalle de confiance, le préenregistrement et la réplication.

Dimension symbolique

La statistique est le seul outil que nous ayons pour raisonner honnêtement sur ce que nous ne savons pas complètement — c’est-à-dire sur à peu près tout.

Et son apport le plus profond n’est pas un calcul : c’est une discipline de l’aveu. L’intervalle de confiance oblige celui qui affirme à dire de combien il peut se tromper, et à le dire en même temps qu’il affirme. C’est une exigence morale déguisée en technique.

C’est aussi pourquoi il disparaît systématiquement de la communication publique : un chiffre nu est frappant, un chiffre encadré est fragile. Celui qui vous donne « 43 % » vous impressionne. Celui qui vous donne « 43 %, entre 40 et 46, et seulement si les non-répondants ressemblent aux répondants » vous laisse penser. La disparition de l’intervalle n’est pas une simplification : c’est une opération rhétorique, et il faut la lire comme telle (voir La Rhétorique, L’Esprit Critique).

🔗 Liens

Fiches qui citent celle-ci (28)