L'Encyclopédie
Accueil · Grands Articles (Méta-liste)

Shannon 1948 — La Théorie de l'Information

C. Shannon, Bell System Technical Journal, 1948. Ingénieur aux Bell Labs, Shannon fonde à lui seul, en un article, une discipline entière : la théorie de l'information.

C. Shannon, Bell System Technical Journal, 1948. Ingénieur aux Bell Labs, Shannon fonde à lui seul, en un article, une discipline entière : la théorie de l’information.

1. L’idée révolutionnaire : mesurer l’information

🔑 Avant Shannon, « information » était un mot vague. Il en fait une GRANDEUR MESURABLE, indépendante du sens.

⭐ Son unité : le BIT (binary digit) — la réponse à une question oui/non, 0 ou 1. 👉 Toute information — texte, son, image — peut être réduite à une suite de bits. Une lettre, une note de musique, un pixel : tout devient des 0 et des 1.

⚠️ Coup de génie contre-intuitif : Shannon SÉPARE l’information de sa signification. Pour la théorie, peu importe que le message soit un poème ou du charabia — ce qui compte, c’est sa quantité de « surprise ». Un message très prévisible porte peu d’information ; un message imprévisible en porte beaucoup.

🔑 Il appelle cette mesure l’ENTROPIE (par analogie avec la thermodynamique) : plus un message est incertain, plus son entropie — donc son information — est élevée.

2. Le théorème qui rend le numérique possible

⭐⭐ Le résultat le plus important : on peut transmettre l’information de façon FIABLE même sur un canal BRUYANT (parasites, erreurs).

👉 Shannon démontre qu’à condition de ne pas dépasser une certaine « capacité » du canal, on peut coder le message avec de la redondance de sorte que le récepteur corrige les erreurs et reconstitue le message EXACTEMENT. 🔑 C’est le fondement des codes correcteurs d’erreurs : sans eux, pas de CD sans craquements, pas de fichier téléchargé sans corruption, pas de communication spatiale.

⚠️ Il fixe aussi une LIMITE théorique absolue (la « limite de Shannon ») : au-delà d’un certain débit, aucune transmission fiable n’est possible. Les ingénieurs passent depuis 75 ans à s’en approcher.

3. Pourquoi c’est fondateur

⭐ Sans cet article, RIEN du monde numérique n’existe : internet, la compression (JPEG, MP3), le streaming, la téléphonie mobile, le stockage, la cryptographie moderne — tout repose sur le bit et sur les théorèmes de Shannon. (Voir Le Chiffrement et la Blockchain, Comment Marche Vraiment une IA — Les Modèles de Langage.)

🔑 C’est peut-être l’article le plus « invisible » de cette liste : personne ne le connaît hors du domaine, et pourtant chaque octet que vous lisez en ce moment obéit à ses lois.

4. Nuance / portée

⭐ La théorie de Shannon est puissante PARCE QU’elle ignore le sens — mais c’est aussi sa limite. Elle mesure la quantité d’information, pas sa VALEUR ni sa VÉRITÉ. 👉 ⚠️ Un mensonge et une vérité de même longueur ont la même « information » au sens de Shannon. Le concept ne dit rien de ce qui COMPTE dans un message — c’est un outil d’ingénieur, pas de philosophe. (À ne pas confondre avec l’information au sens courant. Voir Les Probabilités — Penser le Hasard et le Risque : l’entropie est une espérance d’incertitude.)

🔗 Liens

Fiches qui citent celle-ci (6)