Le clavier du modèle
le mécanisme. Aucun chiffre de ce projet dans cette page.
Un modèle ne lit pas du texte. Il lit des numéros de lignes dans une table. Ce qui fabrique ces numéros s'appelle le tokenizer — et c'est un fichier, pas un modèle.
1. Le trajet d'une phrase
Un jeton n'est pas un mot
C'est un morceau de texte qui a sa propre touche sur le clavier. Souvent un mot entier quand il est fréquent, souvent un bout de mot quand il est rare, parfois une espace collée devant. La découpe ne cherche pas le sens : elle cherche ce qui revient souvent.
2. Deux pièces, jamais une seule
On dit « le tokenizer » comme si c'était un objet. Il y en a deux, et ils ne font pas le même métier.
| la pièce | ce qu'elle fait | quand elle agit |
|---|---|---|
| la règle de découpe | dit où on a le droit de couper : les lettres ensemble, la ponctuation ensemble, les chiffres seuls… | en premier, avant tout |
| le clavier | la liste des touches, numérotées de 0 à la taille du vocabulaire | ensuite, sur chaque morceau |
La règle de découpe est écrite à la main
Elle n'est pas apprise : c'est une expression régulière, décidée par celui qui a construit le modèle. Elle impose des choses que rien ne pourra corriger ensuite. Sur les modèles de la famille Qwen, par exemple, elle isole chaque chiffre séparément : un nombre ne peut jamais devenir une seule touche, quelle que soit la suite.
3. Comment on fabrique le clavier
La méthode s'appelle BPE : on part d'un clavier minuscule — un caractère par touche — et on fusionne. On compte toutes les paires voisines dans un grand corpus, on colle la plus fréquente, on lui donne une touche neuve, et on recommence. Des milliers de fois.
Ce que la fusion privilégie
Ce qui est fréquent devient court. Ce qui est rare reste long. Le clavier n'est donc pas neutre : il est le portrait du corpus sur lequel on l'a fabriqué. Une langue peu présente dans ce corpus se retrouvera écrite en morceaux — et coûtera plus de jetons pour dire la même chose.
4. Le clavier est figé, et c'est un fichier
Il n'apprend rien pendant l'entraînement
On le fabrique une fois, avant. Ensuite le modèle passe des mois à apprendre des poids, et le clavier ne bouge pas d'un caractère. Le changer oblige à tout réentraîner : la table d'entrée et la table de sortie ont exactement autant de lignes que le clavier a de touches.
Et il vit dans un fichier séparé des poids. Ce projet l'a appris à ses dépens : un modèle maison sauvé sans son clavier est un modèle muet — les poids sont intacts, mais plus personne ne sait quelle touche va sur quelle ligne. Voir EXPERIENCES.md, run-034 et son correctif run-035. Un modèle, c'est trois choses : des poids, un clavier, et du code d'inférence.
5. Le seul vrai curseur
Gros clavier ou longues séquences — il faut choisir
Agrandir le clavier raccourcit les séquences : plus de touches, moins de morceaux pour écrire la même phrase. Mais chaque touche coûte une ligne dans deux tables, et sur un petit modèle ces tables finissent par peser plus lourd que le reste. Le rétrécir fait l'inverse : des tables minuscules, et des séquences beaucoup plus longues à traiter — or le coût de l'attention grandit avec le carré de la longueur.
Il n'y a pas de réglage gratuit ici. Il y a un curseur, et deux factures aux deux bouts.
Ce que ça donne en chiffres réels — combien coûte un caractère de français, d'anglais, de code ou de nombres, et quelle part des poids d'un modèle est occupée par son seul clavier — c'est mesuré dans la page suivante.