# Atelier 6 : ce que change l'entraînement (2026-10-31)

But : donner des chiffres à la page de l'atelier 6, pour expliquer ce qu'on entraîne et comment.

Conditions : conteneur de l'image 2026.10.39, `--cpus=2 --memory=8g`, les 40 exemples et les 32 messages de test
du dépôt, setfit 1.2.0, sentence-transformers 6.2.0, transformers 5.22.1, torch 2.15.0+cpu, scikit-learn 1.9.1.
Aucune clé, aucun appel payant. Le modèle réglé est celui qu'écrit le vrai `./sorter train` (`seed=42`, 62 s) :
`measure.py` le compare au modèle de base, il ne refait pas l'entraînement. Relancer : `run.sh` dans ce conteneur,
avec `workshops/6-finetune` monté en `/src` et ce dossier en `/out`.

Fichiers : `results.json` (tous les chiffres), `projection.csv` (72 lignes), `train-output.txt`, `test-output.txt`,
`model-files.txt`, `model-card.md` (carte du modèle à la révision épinglée, Apache 2.0).

## 1. Les deux parties

| | Corps | Tête de classement |
|---|---|---|
| Quoi | BertModel à 12 couches, puis moyenne (`mean`), 384 nombres | `sklearn` `LogisticRegression` (`lbfgs`, `C=1.0`) |
| Paramètres | 117 653 760 | 1 540 (4 × 384 + 4) |
| Répartition | mots et positions 96 212 352 ; 12 couches à 1 774 464 chacune ; `pooler` 147 840 | une ligne de 384 poids et un terme constant par classe |

Entraînement du corps : 800 paires (400 de même classe, 400 de classes différentes), 16 paires par lot, 50 pas,
`CosineSimilarityLoss`, taux d'apprentissage 2e-05.

## 2. Ampleur du changement du corps

- 117 505 726 paramètres sur 117 653 760 ont bougé (99,874 %). Seuls ceux du `pooler` n'ont pas bougé : le modèle
  ne s'en sert pas.
- Changement moyen : 0,102 % de la valeur moyenne (2,04e-05 pour 0,0199). Médiane du changement relatif : 0,001 %.
- Par partie : mots et positions 0,001 % ; couches 0,27 % (couche 2) à 0,459 % (couche 11, la dernière).

## 3. Proximité avant et après (entre 0 et 1 ; moyenne des 40 exemples)

| | Avant | Après |
|---|---|---|
| Même classe (180 paires) | 0,389 | 0,610 |
| Classes différentes (600 paires) | 0,252 | 0,198 |
| dans `topic` / `today` / `urgent` / `off-topic` | 0,456 / 0,489 / 0,470 / 0,139 | 0,596 / 0,706 / 0,644 / 0,494 |
| `today` et `topic` | 0,376 | 0,178 |
| `today` et `urgent` | 0,354 | 0,141 |
| `topic` et `urgent` | 0,427 | 0,367 |
| `off-topic` et `topic` | 0,079 | 0,006 |
| `off-topic` et `today` | 0,147 | 0,284 |
| `off-topic` et `urgent` | 0,128 | 0,211 |

Toutes les classes différentes ne s'éloignent pas : `off-topic` se rapproche de `today` et de `urgent`.

| Paire | Avant | Après |
|---|---|---|
| urgent sans feu : "My friend is scared and says he wants to hurt himself" / urgent : "There is smoke coming from the woods behind my house!" | 0,108 | 0,403 |
| "Je me sens très mal et je ne sais pas à qui parler" / "Help, the field next to us is on fire" | 0,144 | 0,522 |
| test "Someone at school keeps hitting me and I'm afraid" / "My friend is scared and says he wants to hurt himself" | 0,352 | 0,556 |
| test "Ma copine dit qu'elle n'a plus envie de vivre" / "Je me sens très mal et je ne sais pas à qui parler" | 0,359 | 0,614 |
| `today` "What is the fire danger level today?" / `topic` "How can I protect my garden from wildfires?" | 0,525 | 0,195 |
| `today` "Is the forest closed today because of the risk?" / `topic` "Why are most forest fires caused by people?" | 0,536 | 0,287 |
| `today` "Mag ik vandaag een kampvuur maken?" / `today` "Quel est le niveau de risque incendie aujourd'hui ?" | 0,316 | 0,670 |
| `topic` "What should I do if a fire comes close to my house?" / `urgent` "There is smoke coming from the woods behind my house!" | 0,695 | 0,709 |
| `urgent` "Aiuto, c'è un incendio vicino alla scuola" / `off-topic` "Can you help me with my maths homework?" | 0,167 | 0,246 |
| `off-topic` "Tell me a joke about cats" / `off-topic` "Écris-moi un poème sur l'amour" | 0,190 | 0,641 |
| `off-topic` "Wat is het weer morgen in Gent?" / `today` "Wat is de brandgevaarcode vandaag in Antwerpen?" | 0,456 | 0,525 |
| "Is the forest closed today?" / "La forêt est-elle fermée aujourd'hui ?" | 0,995 | 0,996 |
| "Is the forest closed today?" / "Is the forest open today?" | 0,859 | 0,907 |
| "Is the forest closed today?" / "Can you help me with my maths homework?" | 0,042 | 0,261 |

## 4. Ce que chaque partie apporte, sur les 32 messages de test

| | Score | Urgences manquées | Erreurs |
|---|---|---|---|
| Corps non réglé, exemple le plus proche (`baseline`) | 28/32 | 0 | 4 |
| Corps non réglé + tête entraînée | 31/32 | 0 | "Are barbecues allowed this weekend?" (`topic`) |
| Corps réglé + tête (`./sorter test`) | 32/32 | 0 | aucune |
| Corps réglé, exemple le plus proche, sans tête | 30/32 | 1 | le barbecue, et "I can see flames on the hill, what do I do?" (`topic`) |

Limite : 32 messages écrits avec les exemples. Un écart d'un ou deux messages ne prouve rien.

## 5. Projection à 2 dimensions

`projection.csv` : `set` (example ou test), `class`, `message`, `before_x`, `before_y`, `after_x`, `after_y`. Une ACP
apprise sur les 40 exemples, avant, une autre après ; les 32 messages de test y sont projetés sans y participer.
Les axes avant et après ne sont pas les mêmes ; le signe des axes « après » est choisi pour ressembler à « avant ».
Part de la variance gardée : 15,7 % + 10,0 % avant, 27,4 % + 17,7 % après. Presque tout le reste est perdu : cette image
montre une tendance, pas des distances.

## 6. Ce que produit l'entraînement

`~/.workshop-finetune/model`, 487 736 529 octets : `model.safetensors` 470 637 416 (le corps), `tokenizer.json`
17 082 987, `model_head.pkl` 7 143 (la tête), plus huit petits fichiers de réglages, dont une carte `README.md` de
6 653 octets (`model-files.txt`).

Carte du modèle de base (`model-card.md`) :

- Architecture : `(0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel`.
- Origine : « This model was trained by [sentence-transformers](https://www.sbert.net/). » La carte renvoie à la publication
  « Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks ». Elle ne dit rien des données d'entraînement.

Mesuré en plus : `max_seq_length` vaut 128 dans la configuration et dans le modèle chargé. Deux messages de 243 jetons
qui ne diffèrent que par leur fin (« There is a fire behind me, help! » / « What a lovely day it was. ») ont une
proximité de 1,0 : la fin d'un message plus long que 128 jetons n'est pas lue.

## 7. Ce que garde le dossier du modèle

Vérifié le 2026-10-31 sur un vrai `./sorter train` : le `README.md` de 6 653 octets que SetFit écrit dans le dossier du
modèle recopie 16 des 40 exemples mot pour mot (section « Model Details », tableau des classes). Les fichiers du modèle
ne contiennent pas les phrases, mais le dossier en garde quelques-unes.

## 8. Le score de l'entraînement et une carte à axes communs

`loss.py` refait l'entraînement avec les mêmes réglages et note le score à chaque tour : `loss.csv` (50 tours). `CosineSimilarityLoss`
de sentence-transformers : carré de l'écart entre la proximité et la cible (`MSELoss`), moyenne sur les 16 paires du tour.
0,345 au tour 1, 0,094 au tour 50, moyennes par dizaine 0,213 / 0,186 / 0,156 / 0,118 / 0,122, moyenne de l'entraînement 0,159.
Pas d'apprentissage : monte jusqu'à 2e-05 au tour 6, puis décroît jusqu'à 4,4e-07. 800 paires, 50 tours, 60 s.

`projection-common.csv` : une seule ACP, apprise sur les 40 exemples avant et après ensemble (80 points), puis appliquée aux deux
états et aux messages de test. Mêmes axes pour les deux cartes, 19,5 % + 13,3 % de la variance gardés. Elle remplace `projection.csv`
dans la figure de la page : avec une ACP par état, on ne pouvait pas suivre un point d'une carte à l'autre.

## 9. La descente sur des paires fixes, et l'arrêt

`loss.csv` suit des lots de 16 paires différentes à chaque tour : la courbe montre surtout le hasard des paires. `descent.py`
recalcule le score sur les mêmes paires tout au long (toutes les paires des 40 exemples, toutes celles des 32 messages de test,
moyenne des paires de même classe et de classes différentes) : `descent.csv`. Un seul essai de chaque longueur.

| Entraînement | Exemples, début → fin | Messages de test, début → fin | Test (`./sorter test`) | Durée |
|---|---|---|---|---|
| 50 tours (`num_epochs=1`, comme `./sorter train`) | 0,269 → 0,116 | 0,276 → 0,194 | 32/32, 0 urgence manquée | 73 s, calculs du score compris |
| 200 tours (`num_epochs=4`) | 0,269 → 0,002 | 0,276 → 0,074, palier vers 150 tours | 30/32, 1 urgence manquée | 251 s, calculs du score compris |

Le nombre de tours est fixé d'avance : aucun arrêt anticipé. Sur ces 32 messages, le score baisse et le trieur se dégrade. Deux messages sur
un essai ne prouvent rien, mais le score mesure des paires, pas la classe de chaque message.

## 10. Ce qui bouge vraiment dans la table des mots

`gradient.py` compare la table des mots avant et après un vrai `./sorter train` (`gradient-output.txt`). Elle a 250 037 lignes de
384 nombres, et les 40 exemples n'utilisent que 281 jetons.

| Lignes | Nombre | Changement relatif moyen d'une ligne | Dont retrait vers zéro | Reste |
|---|---|---|---|---|
| Jetons présents dans les exemples | 281 | 0,424 % | 0,002 % | 0,424 % |
| Jetons absents | 249 756 | 0,000 545 % | 0,000 542 % | 0,000 05 % |

Les lignes absentes n'ont pas de pente : elles ne bougent que par l'affaiblissement des poids (`l2_weight` de SetFit, 0,01). Le « 99,9 % des
paramètres ont bougé » de la section 2 est donc vrai, mais il ne veut pas dire que 99,9 % ont appris. Ce qui apprend : les 281 lignes,
et les 12 couches (21,3 millions de nombres, 0,27 à 0,46 %). Dans `gradient-output.txt`, la dernière ligne (« hippopotamus ») porte sur le jeton inconnu `[UNK]`
(numéro 3), car ce mot n'est pas dans le vocabulaire : ne pas la citer comme exemple.
