L'Encyclopédie
Accueil · Informatique & IA

Comment Marche Vraiment une IA — Les Modèles de Langage

Un modèle de langage fait une seule chose : il prédit le mot suivant. Vous lui donnez « le chat est monté sur le… » et il calcule une probabilité pour chaque mot possible du vocabulaire : toit (32…

1. Le principe, et il est plus simple qu’on ne croit

Un modèle de langage fait une seule chose : il prédit le mot suivant.

Vous lui donnez « le chat est monté sur le… » et il calcule une probabilité pour chaque mot possible du vocabulaire : toit (32 %), canapé (18 %), arbre (11 %), réfrigérateur (0,4 %)… Puis il en tire un au sort, l’ajoute au texte, et recommence avec le texte allongé d’un mot.

C’est tout. Il n’y a pas d’autre mécanisme. Toute la conversation que vous avez avec une IA est produite mot après mot, sans plan préalable, sans intention, sans que le modèle sache où il va en commençant sa phrase.

⚠️ Et voici le point qu’il faut tenir des deux mains, parce que les deux moitiés sont vraies :

(a) Oui, ce n’est « que » de la prédiction statistique. Il n’y a pas de compréhension au sens où vous comprenez.

(b) Et pourtant, cela ne suffit pas à disqualifier le résultat. Parce que pour prédire correctement le mot suivant sur des milliards de textes, il faut avoir intériorisé énormément de structure : la grammaire, les faits, la logique élémentaire, le style, l’ironie, les intentions. Prédire la fin de « la capitale de la France est… » exige de savoir où est Paris. Prédire la fin d’une démonstration exige d’avoir capté sa forme.

👉 La bonne formulation est donc celle-ci : la prédiction du mot suivant est la TÂCHE D’ENTRAÎNEMENT, pas la description de ce que le modèle a appris pour y arriver. Dire « ce n’est que de l’autocomplétion » est aussi trompeur que de dire « le cerveau ne fait que décharger des potentiels d’action ». C’est vrai, et ça n’explique rien.

2. Les briques, une par une

(a) Le token. Le modèle ne voit pas des mots mais des tokens — des fragments (« anti », « constitutionnel », « lement »). Environ 4 caractères en moyenne. Conséquence pratique et amusante : c’est pour ça que les IA comptent mal les lettres d’un mot. Elles ne voient pas les lettres.

(b) L’embedding — et c’est la vraie idée. Chaque token est transformé en un vecteur : une liste de plusieurs milliers de nombres. Ces nombres situent le mot dans un espace où la distance a un sens sémantique.

Le résultat célèbre, et il est stupéfiant :

vecteur(roi) − vecteur(homme) + vecteur(femme) ≈ vecteur(reine)

Le sens est devenu de la géométrie. Le modèle a découvert tout seul, en lisant, que « roi » et « reine » diffèrent selon la même direction que « homme » et « femme ». Personne ne le lui a dit. (Voir La Linguistique et la Traduction : Saussure disait déjà que le sens vient des différences, pas des termes. L’embedding en est la réalisation littérale.)

© Le Transformer, et son idée centrale : l’ATTENTION (article fondateur : Attention Is All You Need, Google, 2017 — tout ce que vous connaissez en découle).

Le problème à résoudre : dans « l’animal n’a pas traversé la rue parce qu’il était trop fatigué », à quoi renvoie « il » ? À l’animal. Mais dans « …parce qu’elle était trop large », « elle » renvoie à la rue.

Le mécanisme d’attention permet à chaque mot de « regarder » tous les autres mots de la phrase et de décider lesquels comptent pour lui. Chaque token pose trois questions : ce que je cherche (query), ce que je propose (key), ce que j’apporte (value). Le modèle calcule à quel point chaque mot doit prêter attention à chaque autre.

C’est la rupture de 2017. Avant, les modèles lisaient de gauche à droite et oubliaient le début des longues phrases. L’attention permet de traiter tout le contexte en parallèle, et de saisir des dépendances lointaines. Sans elle, rien de ce que vous utilisez n’existerait.

(d) L’échelle. Empilez ces couches d’attention des dizaines de fois, entraînez sur une part énorme du texte écrit par l’humanité, avec des centaines de milliards de paramètres — et des capacités apparaissent qu’on n’avait pas programmées (traduire, résumer, raisonner par étapes, écrire du code). On appelle ça les capacités émergentes, et elles sont mal comprises : on constate qu’elles apparaissent au-delà d’une certaine taille, on ne sait pas exactement pourquoi.

3. L’entraînement, en trois temps

(1) Le pré-entraînement. On lui fait lire une fraction énorme d’Internet, de livres, de code, et on lui fait prédire le mot suivant, des milliards de milliards de fois. C’est ici que se logent les coûts (des dizaines de millions de dollars, des mois de calcul, une consommation électrique considérable). À ce stade, le modèle est un érudit incontrôlable : il sait beaucoup, il ne sait pas répondre.

(2) Le fine-tuning supervisé. Des humains rédigent des milliers d’exemples de bonnes réponses. Le modèle apprend le format « question → réponse utile ».

(3) Le RLHF (apprentissage par renforcement à partir de retours humains). Des humains classent des réponses de la meilleure à la pire. On entraîne un second modèle à prédire leurs préférences, puis on optimise le premier pour lui plaire.

⚠️ Et voici la conséquence qu’il faut absolument comprendre : le RLHF n’entraîne pas le modèle à être VRAI. Il l’entraîne à être JUGÉ BON par un évaluateur humain. Ce n’est pas la même chose. Cela explique la flagornerie (les modèles ont tendance à vous donner raison), le ton lisse, et une partie des refus excessifs. Le modèle optimise l’approbation, pas la vérité — et l’approbation et la vérité coïncident souvent, mais pas toujours.

4. Les hallucinations — pourquoi elles ne sont pas un bug

Une « hallucination », c’est quand le modèle produit une information fausse avec assurance : une citation inventée, une référence bibliographique qui n’existe pas, une date fantaisiste.

Pourquoi c’est structurel et non accidentel :

Le modèle ne stocke pas des faits dans une base de données. Il a des poids — des milliards de nombres — qui encodent des régularités statistiques. Quand vous lui demandez une référence, il ne la cherche pas : il génère ce qui RESSEMBLE le plus à une référence plausible dans ce contexte. Un titre plausible, un auteur plausible, une année plausible.

👉 Il ne ment pas : il n’a aucune notion de vrai et de faux. Il produit du vraisemblable. Et le vraisemblable est souvent vrai — c’est pourquoi il est utile — mais rien dans la machine ne distingue les deux.

Conséquence pratique, et c’est la seule règle qui compte : plus une information est rare, précise et vérifiable, plus la probabilité d’hallucination est élevée. Un numéro de page, un article de loi, une citation exacte, un chiffre. Ce sont exactement les cas où l’on a le plus besoin de fiabilité — et où le modèle est le moins fiable. (Ce n’est pas un hasard : c’est parce que ces informations sont peu représentées dans les données, donc mal apprises.)

Les correctifs existent — la recherche web intégrée, le RAG (on donne les documents au modèle), le raisonnement en plusieurs étapes — mais ils atténuent le problème, ils ne le suppriment pas.

5. Ce que ça ne fait pas

Ce n’est pas un raisonnement, au sens strict. Le modèle est bon en logique parce que les textes logiques sont réguliers, et il échoue sur des problèmes triviaux mais inhabituels. Il n’a pas de modèle du monde vérifié ; il a un modèle du DISCOURS sur le monde.

Il n’y a pas de compréhension établie — et le débat est ouvert. Deux positions sérieuses s’affrontent, et il faut les connaître :

  • Les perroquets stochastiques (Bender, Gebru et al., 2021). Le modèle manipule des formes sans accès au sens : il n’a jamais vu un chat, jamais eu faim, jamais rien voulu. Il recombine des symboles dont il ignore le référent.
  • La position adverse : la compréhension pourrait être une affaire de structure, non d’expérience vécue ; et une structure suffisamment riche, apprise sur assez de données, pourrait constituer une forme de compréhension — pauvre, différente, mais réelle.

Le débat n’est pas tranché, et il ne l’est pas parce qu’on ne sait pas définir « comprendre ». C’est un problème philosophique déguisé en question technique. (C’est exactement la chambre chinoise de Searle. Voir La Conscience.)

Il n’y a ni conscience, ni intentions, ni désirs. Rien dans l’architecture ne les produit, et prêter au modèle une volonté est une projection. Il est extraordinairement doué pour produire des phrases qui sonnent comme si quelqu’un les pensait — c’est précisément ce pour quoi il a été entraîné, et c’est ce qui rend l’illusion irrésistible.

6. Les vrais problèmes (ceux dont on parle trop peu)

  • Les biais. Le modèle apprend sur des textes humains. Il reproduit donc nos biais — de genre, de race, de classe — et il les LISSE, ce qui les rend plus difficiles à repérer que dans une source explicitement partiale. (Voir Intersectionnalité — Féminisme, Race et Queer, Le Bon Noir et le Mauvais Noir — Respectabilité et Double Standard.)
  • L’opacité. Personne, pas même les concepteurs, ne sait expliquer pourquoi un modèle donné a produit une réponse donnée. Ce sont des milliards de nombres. La discipline qui essaie de le comprendre — l’interprétabilité mécaniste — est jeune et progresse lentement. Nous déployons massivement des systèmes que nous ne savons pas inspecter.
  • La concentration. Entraîner un grand modèle coûte des sommes qui excluent les universités et la quasi-totalité des États. Cinq ou six entreprises décident, seules, de ce à quoi ressemblera l’accès mondial au savoir. C’est un problème politique majeur, et il n’est presque pas traité.
  • L’énergie et l’eau. Réelles, significatives, souvent mal chiffrées dans les deux sens.
  • L’effet sur la connaissance. Si les modèles s’entraînent sur du texte de plus en plus produit par des modèles, on risque un appauvrissement autoréférentiel (model collapse). Le phénomène est démontré expérimentalement.

Dimension symbolique

Ces modèles sont un miroir, et c’est ce qui les rend troublants. Ils ont été entraînés sur ce que l’humanité a écrit ; ils nous renvoient donc notre propre production, moyennée, lissée, réorganisée. Quand une réponse vous paraît profonde, elle l’est souvent — mais la profondeur vient des textes qu’ils ont lus, pas d’eux.

Et ils posent une question que la philosophie n’avait jamais eu à traiter concrètement : il existe désormais une chose qui parle très bien sans rien vouloir dire. Toute notre confiance dans la parole reposait sur une hypothèse implicite — si c’est bien dit, quelqu’un l’a pensé. Cette hypothèse est morte.

C’est la vraie rupture, et elle n’est pas technique : le lien entre la forme du discours et l’existence d’une intention derrière lui est rompu. Nous allons devoir apprendre à juger un énoncé sur ce qu’il dit et non sur ce qu’il sonne — c’est-à-dire à faire, en permanence, ce que nous n’avons jamais su faire.

Ce n’est pas la machine qui pense trop bien. C’est nous qui avons toujours confondu bien parler et penser juste. (Voir La Rhétorique : Platon reprochait exactement cela aux sophistes, et il avait déjà à moitié raison.)

🔗 Liens

Fiches qui citent celle-ci (19)