L’unité de base que « lit » et « écrit » un modèle de langage — ni tout à fait une lettre, ni tout à fait un mot.
⭐ La brique du langage des IA. Un token (jeton) est le morceau élémentaire de texte qu’un modèle d’IA (LLM comme GPT) manipule. Le texte est d’abord découpé — la tokenisation (algorithmes BPE, WordPiece) — en unités de sous-mots : un mot fréquent = 1 token, un mot rare est coupé en plusieurs. Ordre de grandeur (anglais) : 1 token ≈ 4 caractères ≈ 0,75 mot. Le modèle ne fait fondamentalement qu’une chose : prédire le token suivant, encore et encore.
🔑 Pourquoi ça compte concrètement. (1) La fenêtre de contexte (ce que le modèle peut « garder en tête ») se mesure en tokens (ex. 8k, 128k, 1M). (2) Le prix des API se facture au token (entrée + sortie). (3) La vitesse se mesure en tokens/seconde. (4) Inégalité entre langues : le français, et plus encore l’arabe ou le chinois, consomment plus de tokens que l’anglais pour dire la même chose → plus cher et plus lent.
⚠️ Esprit critique. (1) La tokenisation explique des bizarreries célèbres : un LLM peine à compter les lettres d’un mot (« combien de r dans strawberry ? ») parce qu’il ne voit pas les lettres, mais des tokens. (2) Elle gère mal les nombres et les mots rares (coupés arbitrairement). 🔑 (3) Le token n’est PAS une unité de sens : c’est une commodité statistique. Confondre « prédire le token suivant » avec « comprendre » est au cœur du débat sur ce que « savent » vraiment les IA. (Cf. Les Réseaux de Neurones.)
🔗 Liens
- Les Réseaux de Neurones · <span class=“lien-absent”>Le Deep Learning</span> · ChatGPT · L’Intelligence Artificielle · <span class=“lien-absent”>Le Traitement du Langage Naturel</span>