Backpropagation 1986 — Le Cœur du Deep Learning

D. Rumelhart, G. Hinton & R. Williams, Nature, 1986. L’article qui rend les réseaux de neurones réellement entraînables — le fondement mathématique de toute l’IA actuelle. Hinton reçoit le prix Turing (2018) puis le Nobel de physique (2024).

1. Le problème que l’article résout

⭐ Un réseau de neurones artificiel est un empilement de « neurones » reliés par des connexions pondérées. Il apprend en AJUSTANT ces poids. Mais comment savoir, quand le réseau se trompe, QUEL poids modifier, et de combien — parmi des milliers, répartis sur plusieurs couches ?

🔑 C’est le « problème d’attribution du crédit » (credit assignment). Sans réponse, un réseau à plusieurs couches est inentraînable — et sans plusieurs couches, il ne peut rien apprendre de complexe.

2. La solution : la rétropropagation

⭐⭐ L’algorithme de RÉTROPROPAGATION (backpropagation) : on calcule l’erreur à la sortie, puis on la fait REMONTER couche par couche vers l’entrée, en distribuant à chaque connexion sa part de responsabilité dans l’erreur.

👉 Techniquement, c’est une application de la règle de dérivation en chaîne (calcul de gradient) : chaque poids est ajusté dans la direction qui réduit l’erreur. 🔑 Répété des millions de fois sur des données, le réseau « descend » progressivement vers une configuration qui marche. C’est la descente de gradient.

⭐ Le titre le dit : le réseau apprend des représentations. Les couches intermédiaires découvrent seules des concepts utiles (un contour, puis une forme, puis un visage) — sans qu’on les programme. C’est ça, « apprendre ».

3. Pourquoi c’est fondateur

⭐ Absolument toute l’IA moderne repose sur la rétropropagation : reconnaissance d’images, traduction, voitures autonomes, et les grands modèles de langage type ChatGPT. (Voir Comment Marche Vraiment une IA — Les Modèles de Langage.) 👉 L’algorithme n’a pas changé depuis 1986 ; ce sont les DONNÉES (internet) et la PUISSANCE de calcul (cartes graphiques) qui ont rattrapé la théorie vers 2012, déclenchant l’explosion du deep learning.

4. Nuance / esprit critique

⚠️ L’article a POPULARISÉ la rétropropagation, il ne l’a pas inventée seul. L’idée (dérivation en chaîne appliquée à l’apprentissage) apparaît plus tôt — Linnainmaa (1970), Werbos (1974). Le mérite de 1986 est de l’avoir clairement formulée, démontrée et diffusée pour les réseaux multicouches. 🔑 Encore un cas où « l’article fondateur » n’est pas la première occurrence d’une idée, mais celle qui la rend utilisable et connue.

⚠️ Limite conceptuelle débattue : la rétropropagation n’a probablement RIEN à voir avec la façon dont le cerveau biologique apprend (le cerveau ne « rétropropage » pas d’erreur globale). Hinton lui-même cherche depuis des années des alternatives plus « biologiques ». L’IA qui marche n’imite pas forcément la nature.

🔗 Liens

IA : Comment Marche Vraiment une IA — Les Modèles de Langage · Shannon 1948 — La Théorie de l’Information · IA · Le Cerveau (que le réseau imite… de loin)
Méthode : Les Probabilités — Penser le Hasard et le Risque · La Post-Labor Economy (David Shapiro) (les conséquences économiques) · Les Grands Articles Scientifiques — Méta-liste · L’Esprit Critique