Les réglages qu'on peut contrôler
le mécanisme. Aucun chiffre de ce projet dans cette page.
Sept nombres décrivent un modèle. Une vingtaine de boutons décident de ce qu'il devient. Voici lesquels, quand on peut encore y toucher, et lesquels ce site a vraiment mesurés.
Trois étages, une seule question
Devant un bouton, la question n'est pas « à quoi il sert ». C'est « puis-je encore le changer ? ». La réponse ne dépend pas du bouton, mais de son étage. C'est ce qui donne son ordre au chapitre.
Les trois étages
Étage 1 — CONSTRUCTION. Décidé avant le premier pas. Le changer, c'est tout réentraîner.
Étage 2 — ENTRAÎNEMENT. Décidé par run. Le changer coûte des minutes de GPU.
Étage 3 — GÉNÉRATION. Décidé à chaque question. Gratuit et immédiat.
Qui veut seulement une meilleure génération commence par la fin. L'étage 3 ne coûte rien et se teste en direct. L'étage 1 se paie en réentraînement — et c'est là que la plupart commencent.
Les sept nombres qui décrivent un modèle
Un jeton est le morceau de texte avalé d'un coup : un caractère sur mes modèles, un bout de mot sur les grands.
Un modèle tient en sept nombres. Aucun n'est appris : ils sont écrits avant le premier pas et ne changent plus. À droite, Pythia-160M, dont ce projet a lu le fichier de poids.
| le réglage | en clair | Pythia-160M | si on l'augmente |
|---|---|---|---|
| largeur | combien de nombres décrivent un jeton dans le modèle | 768 | qualité en hausse, poids en forte hausse. Le vrai levier. |
| taille de tête | combien de ces nombres une seule tête reçoit | 64 | rien en soi : elle prend sa place sur la voisine |
| nombre de têtes | en combien de tranches la largeur est découpée | 12 | rien non plus, seul. Mal réglé ça coûte, bien réglé ça ne rapporte presque rien. |
| têtes de clés | combien de tranches ont leur propre clé et valeur | 12 | pas la qualité : la mémoire pour lire long |
| couches | combien de fois le paquet est retravaillé | 12 | qualité et poids en hausse, calcul plus long |
| taille du bloc dense | le calcul d'après l'attention, qui ne compare pas les jetons | 3 072 | les poids montent le plus vite de tous |
| vocabulaire | combien de jetons distincts le modèle connaît | 50 304 | textes plus courts, deux tables plus lourdes |
| contexte | combien de jetons il lit d'un seul tenant | 2 048 | aucun poids ajouté, et le plus cher à l'usage |
Le seul lien obligatoire entre eux
largeur = nombre de têtes × taille de tête. Chez Pythia : 12 × 64 = 768.
Huit lignes, sept nombres libres : deux des trois suffisent, le troisième se déduit. On n'ajoute pas des têtes sans les rétrécir d'autant. Tout le reste est libre — le nombre de couches, en particulier, ne décide de rien.
valeurs relevées dans le fichier du modèle · attention.html, section 8
Où partent les poids
Un réglage ne coûte pas ce qu'on croit. Les 162 322 944 poids de Pythia-160M, rangés par bloc, disent où va l'argent.
Ces cinq parts viennent d'un modèle ouvert, pas d'un de mes entraînements. Une page théorie peut citer un chiffre mesuré ailleurs, avec son lien. Elle n'a le droit d'en affirmer aucun.
Le tableau maître
Une ligne par bouton, les trois étages dans l'ordre. La colonne mesuré ici dit si ce site a fait varier ce bouton et regardé le résultat. « en partie » : une seule autre valeur, une seule tâche, ou un effet vu sans balayage.
Étage 1 construction · 2 entraînement · 3 génération. Chaque run est détaillé dans EXPERIENCES.md.
| bouton | étage | si on l'augmente | réversible ? | mesuré ici | run | raconté dans |
|---|---|---|---|---|---|---|
| largeur | 1 | qualité et poids en hausse | non | oui | run-062 | la forme |
| nombre de têtes | 1 | découpe la largeur sans changer un poids | non | oui | run-062 | la forme |
| taille de tête | 1 | se déduit des deux autres | non | oui | run-062 | la forme |
| têtes de clés | 1 | la mémoire de lecture, pas la qualité | non | en partie | run-063 | la forme |
| couches | 1 | qualité, poids et temps en hausse | non | pas encore | — | la forme |
| taille du bloc dense | 1 | le plus gros poste de poids | non | pas encore | — | la forme |
| experts (MoE) | 1 | stocker plus sans calculer plus | non | en partie | run-034 | la forme |
| vocabulaire | 1 | textes plus courts, tables plus lourdes | non | pas encore | — | la forme |
| contexte | 1 | aucun poids, tout le coût à l'usage | non, si les positions sont apprises | en partie | run-004e | le contexte |
| taux d'apprentissage | 2 | apprend plus vite, puis plus rien | un run | en partie | run-004i/j | l'entraînement |
| durée (époques) | 2 | gain fort au début, plat ensuite | un run | en partie | run-004c | l'entraînement |
| taille de lot | 2 | plus de mémoire, rien de promis | un run | pas encore | — | l'entraînement |
| échauffement, planificateur | 2 | un départ doux, une descente pilotée | un run | pas encore | — | l'entraînement |
| part de révision (replay) | 2 | protège l'ancien métier | un run | oui | run-004i/j | l'entraînement |
| rang de l'adaptateur (LoRA) | 2 | plus de poids entraînables | un run | pas encore | — | l'entraînement |
| nombre de graines | 2 | pas la qualité : le bruit qu'on lit | un run | oui | run-062 | la forme |
| température | 3 | plus d'audace, plus de fautes | immédiat | pas encore | — | la génération |
| top-k et top-p | 3 | coupe la queue des candidats | immédiat | pas encore | — | la génération |
| pénalité de répétition | 3 | interdit de répéter — et taxe qui doit répéter | immédiat | oui | run-048 | la génération |
| nombre de brouillons | 3 | plus de chances, coût multiplié d'autant | immédiat | oui | run-020, run-040 | llm |
| longueur maximale | 3 | laisse finir, coûte du temps | immédiat | pas encore | — | la génération |
Le tableau sert deux fois : table des matières, et liste de ce qui manque.
Déclaré non mesuré
Neuf lignes sur vingt-et-une portent « pas encore ». Ce n'est pas une case oubliée : c'est l'état réel du projet. Les nommer coûte moins cher que laisser croire qu'on sait.
Les neuf, et pourquoi
- couches — jamais fait varier seul : la largeur bougeait en même temps, on ne peut rien attribuer.
- taille du bloc dense — fixée par habitude à quatre fois la largeur, jamais interrogée.
- vocabulaire — mes modèles maison travaillent au caractère : rien à régler.
- taille de lot — choisie pour tenir en mémoire, pas comparée à qualité égale.
- échauffement, planificateur — recopiés d'un run à l'autre depuis le début, sans témoin.
- rang de l'adaptateur — une seule valeur sur toute la chaîne des grands modèles.
- température — toujours la même valeur pour tirer des brouillons, jamais balayée seule.
- top-k et top-p — utilisés, jugés à l'œil sur des dessins, jamais chiffrés.
- longueur maximale — réglée pour ne pas couper une réponse, jamais mesurée comme un levier.
Un réglage hérité sans mesure est une dette. Ce chapitre existe pour la rembourser ligne par ligne, et cette liste rétrécira.