Voici l'histoire : une phrase, c'est une classe d'école. Chaque mot est un élève assis en rang. Pour comprendre la phrase, les élèves vont jouer à un jeu d'écoute — et ce jeu s'appelle un Transformer. Tape une phrase (12 mots max) : tout ce que tu vas voir en dessous est vraiment calculé par le petit robot qu'on a entraîné nous-mêmes (run-003).
Pareil ici : un ordinateur ne sait pas lire les lettres, alors chaque mot est remplacé par son numéro dans un grand annuaire de 36 364 mots (qu'on a construit avec 160 000 critiques de films). Remarque l'élève spécial [CLS] ajouté au début : c'est le délégué de classe — il ne dit rien, il est là pour écouter tout le monde. Un mot que l'annuaire ne connaît pas (pointillés) devient « l'inconnu » (UNK).
Ces notes, personne ne les a écrites à la main ! Le robot a commencé avec des nombres tirés au hasard, puis il a lu 14 millions de mots en jouant à « devine les voisins de chaque mot » — et à chaque erreur, il corrigeait les fiches d'un tout petit peu. À la fin, les mots qui vont ensemble ont des fiches proches (« chat » et « chien », « roi » et « reine »…). Voici les 8 premières notes de chaque mot de ta phrase (bleu = nombre positif, orange = négatif) :
Alors on ajoute à la fiche de chaque élève un dossard qui code sa place : place 1, place 2, place 3… Regarde, c'est une vraie addition, nombre par nombre :
Et petit détail rigolo : le jeu se joue 4 fois en même temps, comme 4 parties sur 4 tables différentes. On appelle ça les 4 « têtes ». Chaque table apprend sa propre façon de jouer — tu verras aux étapes suivantes qu'elles ne s'intéressent pas aux mêmes choses !
Voici le tableau des points de ta phrase. Chaque ligne = un élève qui pose sa question ; chaque colonne = le camarade regardé. Bleu = « ta pancarte m'intéresse ! », orange = « pas du tout » :
C'est ça, la fameuse « attention » ! Regarde surtout la ligne du délégué [CLS] : c'est vers les mots où il met ses plus grosses parts qu'il ira chercher l'information. Chaque ligne fait exactement 100 % en tout :
Après ce tour de jeu, la fiche de « chat » dans ta phrase n'est plus la fiche de « chat » tout seul : elle contient un peu de ses voisins. Le mot a compris son contexte. La preuve — la fiche du délégué avant et après le jeu :
Ce grand tour complet (cartes → points → parts d'écoute → cadeaux → réflexion) s'appelle un bloc Transformer. Notre petit robot fait 1 tour. Les grands comme GPT font ~100 tours de suite — à chaque tour, les élèves se comprennent un peu mieux.
Notre petit robot n'a appris qu'une seule question à l'école (il s'est entraîné sur des avis de films) : « cette phrase sonne-t-elle 👍 contente ou 👎 fâchée ? ». Alors c'est ce qu'il répond — même si ta phrase parle d'un chat ! S'il hésite (autour de 50 %), c'est normal : ta phrase ne ressemble à rien de ce qu'il a vu en classe.
C'est exactement le même jeu. Trois différences, et c'est tout :
| Notre petit robot | Un grand modèle (GPT) | |
|---|---|---|
| Tours de jeu (étape 7) | 1 | ~100 |
| Notes sur chaque fiche | 100 | ~12 000 |
| Tables en parallèle (têtes) | 4 | ~100 par tour |
| La question du maître | « contente ou fâchée ? » | « quel mot vient après ? » |
Et le tour de magie final : quand le jeu répond « le mot d'après, c'est chat », on ajoute « chat » à la phrase et on rejoue le jeu en entier. Puis encore. Mot après mot… le robot écrit ! C'est comme ça que je te réponds en ce moment même. C'est la prochaine étape de notre parcours.