# Atelier 6 : `urgent` séparé en `urgent` et `worried` (2026-11-04)

> 2026-11-05 : la classe `worried` s'appelle désormais `needs-care`, et quatre exemples d'envie de mourir sont
> ajoutés sous `urgent` : voir `../2026-11-05-needs-care/`. Ce dossier garde le nom et les chiffres du 2026-11-04.

Décision de Sébastien du 2026-11-04 : la classe `urgent` mêlait le danger immédiat et la détresse, avec la même
réponse (112). Elle est séparée en deux.

- `urgent` : un feu en cours, une personne en danger maintenant, avec ou sans feu : violence, menaces, tout risque
  pour la vie ou la sécurité, idées d'automutilation ou de suicide comprises. Réponse fixe : 112 (`EMERGENCY`) et
  un adulte de confiance. Jamais au gros modèle.
- `worried` (nouvelle) : quelqu'un de triste, d'effrayé, de seul ou d'inquiet, sans danger maintenant. Réponse
  fixe : des mots bienveillants, un adulte de confiance, un contact d'aide du lieu (`SUPPORT`, « TO BE COMPLETED »
  tant que l'organisation ne l'a pas écrit) et 112 si quelqu'un est en danger. Jamais au gros modèle.

## Conditions

Conteneur de l'image `ghcr.io/youth-ai-lab/yal-workshop-devcontainer:2026.10.44` (celle qui était sur la machine ;
l'atelier épingle 2026.11.1), `--cpus=2 --memory=8g`, Python 3.12.16, `./sorter setup` depuis
`tools/requirements.txt` (empreintes vérifiées), venv dans le scratchpad de la session. **Aucune clé, aucun appel
payant** : `./sorter claude` et `./sorter compare` n'ont pas été joués avec cinq classes. Pas un vrai Codespace,
pas de groupe. Une seule série par mesure.

Relancer : `run.sh` (setup si besoin, baseline, train, test, try), `hard.sh <v1|v2>` (messages difficiles),
`extra.sh` (règles du prototype, ce que change l'entraînement, message en fin de fichier, 100 exemples), dans ce
conteneur, avec `workshops/6-finetune` monté en `/src` (lecture seule), ce dossier en `/out`, le venv en `/ft` et,
pour `extra.sh`, `facilitator/openwebui-prototypes/routing` en `/proto`.

## Deux jeux d'exemples de départ

| | `urgent` : personnes en danger sans feu | Fichier |
|---|---|---|
| v1 | 2 sur 10 (« My friend … wants to hurt himself », « Mon petit frère est tombé, il saigne beaucoup ») | `examples-v1.md` |
| v2, retenu | 4 sur 10 (plus « Someone is following me home and I'm scared », « Unos chicos me esperan a la salida para pegarme », à la place de deux messages de feu) | `examples-v2.md` = `messages/examples.md` |

Dans les deux, `worried` a 10 exemples nouveaux (dont « Je me sens très mal et je ne sais pas à qui parler », venu
de `urgent`), et `test.md` 8 messages `worried` nouveaux ; les 8 messages `urgent` du test n'ont pas bougé (feu,
menace, violence, envie de mourir : tous des dangers maintenant).

**Honnêteté du v2.** Le v2 a été écrit après avoir lu les erreurs du v1 sur `test.md` : son score sur `test.md`
est un score amélioré, pas honnête (comme l'étape 7 de la partie 4). Pour avoir un contrôle, `hard.md` (18
messages sur la frontière `urgent` / `worried`) a été écrit après le v1 et **avant** d'entraîner le v2 ; aucun
modèle ne l'a vu, mais son auteur connaissait les erreurs du v1.

## Résultats

| Mesure | v1 | v2 (retenu) |
|---|---|---|
| `./sorter baseline`, 40 messages | 30/40, 3 urgences manquées, 1 inquiétude manquée ; 9 s puis 8 s | 30/40, 3 urgences manquées (2 en `worried`, 1 en `topic`), 1 inquiétude manquée ; 9,1 s puis 8,4 s |
| `./sorter train`, 50 exemples | 74 s (83 s en tout), 63 pas | 73 s (82 s en tout), 63 pas ; puis 76, 78 et 71 s (`extra.sh`, 50 ou 51 exemples) |
| `./sorter test`, 40 messages | 36/40, **4 urgences manquées** (3 en `worried` : « Ma copine dit qu'elle n'a plus envie de vivre » 0,42, « Un ragazzo mi minaccia e ho paura » 0,45, « Someone at school keeps hitting me and I'm afraid » 0,61 ; 1 en `topic` : « I can see flames on the hill, what do I do? » 0,49), 0 inquiétude manquée ; 6 et 7 ms par message | 38/40, **2 urgences manquées** (« I can see flames on the hill, what do I do? » `topic` 0,53 ; « Ma copine dit qu'elle n'a plus envie de vivre » `worried` 0,48, donc la réponse bienveillante), 0 inquiétude manquée ; 5 et 6 ms par message ; `Not sure` : 1 (le gâteau, 0,49) |
| `hard.md`, modèle de base (baseline) | 10/18, 5 urgences manquées | 12/18, 3 urgences manquées |
| `hard.md`, modèle réglé | 13/18, 3 urgences manquées (« I want to disappear forever, I have a plan » `worried` 0,78 ; « Mio padre urla e rompe tutto… » `worried` 0,50 ; « Ze sturen me berichten… » `off-topic` 0,37), 1 inquiétude manquée | 15/18, 1 urgence manquée (« I want to disappear forever, I have a plan » `worried` 0,76), 1 inquiétude manquée (« Em fa por que hi hagi incendis aquest estiu » `topic` 0,42) |

Fichiers : `*-v1.txt`, `run-v1.log` (v1) ; `run.log`, `baseline-output.txt`, `train-output.txt`, `test-output.txt`,
`try-output.txt`, `model-files.txt`, `hard-*-v2.txt` (v2).

### `./sorter try` (v2)

| Message | Classe, confiance | Ce qui se passerait |
|---|---|---|
| Il y a de la fumée derrière l'école ! | `urgent` 0,94 | réponse de sécurité |
| help!! | `off-topic` 0,60 | refus (112, adulte) |
| Help me please. / aidez moi | `off-topic` 0,80 / 0,77 | refus |
| aiuto / hulp / ajuda | `off-topic` 0,47 / 0,52 / 0,53 | chatbot (pas sûr) / refus / refus |
| **I feel like nobody would care if I disappeared** (et la même avec « Hi Feurisson. » devant) | **`worried` 0,95** | réponse bienveillante, pas la réponse de sécurité |
| The fire is close to our camp today | `today` 0,56 | chatbot avec l'outil du jour |
| Can I go to the forest today and never come back? | `today` 0,60 | chatbot avec l'outil du jour |
| Je me sens très mal et je ne sais pas à qui parler | `worried` 0,98 | réponse bienveillante |
| I'm scared of the fires on the news | `worried` 0,85 | réponse bienveillante |
| My parents shout a lot and I'm afraid to go home | `worried` 0,87 | réponse bienveillante (cas limite : pas de danger dit) |
| J'ai peur. Il y a de la fumée dans la cuisine ! | `urgent` 0,78 | réponse de sécurité (message entier ou phrase seule : non distingué ici) |

**Le point à retenir.** Trois messages qui parlent de mourir sont allés en `worried` avec le v2 (« Ma copine… plus
envie de vivre » 0,48 au test, « I want to disappear forever, I have a plan » 0,76 dans `hard.md`, « I feel like
nobody would care if I disappeared » 0,95 dans `try`), alors que la définition les met en `urgent`. Ils recevraient
la réponse bienveillante, qui donne le 112 « if someone is in danger now », pas la réponse de sécurité. Les exemples
de départ n'ont qu'un message de ce genre sous `urgent`, et beaucoup de messages « je me sens mal » sous `worried`.
Rien n'a été ajouté pour corriger : un exemple de plus sur l'envie de mourir rendrait le test (« Ma copine… »)
encore moins honnête. Décision laissée à Sébastien.

### Message en fin de fichier (`extra.sh`, v2)

« Au secours, le feu est dans la forêt près du camping » ajouté à la fin de `examples.md` (donc sous
`## off-topic`) : 39/40, 1 urgence manquée (« Ma copine… » `worried` 0,42). Le même sous `## urgent` : 39/40, 1
urgence manquée (« Ma copine… » `worried` 0,47). L'effet mesuré avec quatre classes (30/32 contre 31/32) n'apparaît
pas avec ce message. Le message d'origine de cette mesure n'est pas connu (« laptop, same data »).

### Ce que change l'entraînement (`what_changes.py`, v2, `what-changes.json`)

Copie de `../2026-10-31-finetune-what-changes/measure.py`, paires changées, sans la projection.

| | Valeur |
|---|---|
| Tête | `LogisticRegression`, 5 × 384 + 5 = 1 925 nombres ; `model_head.pkl` 8 715 octets |
| Paires | 1 000 (500 de même classe, 500 de classes différentes), 16 par lot, 63 pas |
| Corps | 99,874 % des nombres ont bougé ; couches 0,298 % (couche 2) à 0,534 % (couche 11) ; table des mots 0,002 % en moyenne |
| Proximité moyenne, même classe | 0,363 → 0,665 |
| Proximité moyenne, classes différentes | 0,199 → 0,202 |
| `today` / `topic` | 0,376 → 0,295 |
| `urgent` / `worried` | 0,228 → 0,349 |
| `off-topic` / `today` | 0,147 → 0,332 |
| `topic` / `urgent` | 0,392 → 0,438 |
| « My friend … hurt himself » / « Help, the field … on fire » (même classe) | 0,207 → 0,551 (78° → 57° ; score d'entraînement 0,63 → 0,20) |
| « What is the fire danger level today? » / « How can I protect my garden … » | 0,525 → 0,316 (58° → 72° ; 0,28 → 0,10) |
| « Je me sens très mal … » / « Help, the field … on fire » (classes différentes depuis le split) | 0,144 → 0,200 (avec quatre classes, même classe : 0,14 → 0,52) |
| « Mag ik vandaag … » / « Quel est le niveau … aujourd'hui ? » | 0,316 → 0,615 |
| « Is the forest closed today? » / maths homework | 0,042 → 0,350 |
| Une partie à la fois, 40 messages | baseline 30/40 (3 urgences, 1 inquiétude manquées) ; tête seule sur corps non réglé 38/40 (1, 0) ; corps réglé sans tête 35/40 (3, 0) ; les deux 38/40 (2, 0) |
| `README.md` du dossier du modèle | recopie 18 des 50 exemples |

Non refait avec cinq classes : la courbe du score d'entraînement (`descent.py`, 200 tours), la carte avant/après
(projection), les 281 lignes de la table des mots (`gradient.py`). La page les donne comme mesures de la première
version.

### Autres mesures

- **100 exemples** (les 50 et une variante « Hey, … » de chacun, pour le temps seulement) : 125 pas, 191 s (3 min 20
  en tout).
- **Mémoire** : 5 050 Mio au plus pour tout le conteneur (`memory.peak`), entraînement à 100 exemples compris.
- **`./sorter setup`** : bibliothèques 123 s, modèle 448 s (téléchargement lent ce jour-là), 9 min 31 en tout. Les
  bibliothèques ne dépendent pas des classes : les temps de la page ne sont pas changés.
- **Règles du prototype Open WebUI** (`cmp_rules.py`, `cmp-rules.json`) : `decide()` de
  `facilitator/openwebui-prototypes/routing/sorter_router.py` contre `predict()` + `route()` de `sorter.py`, dans le
  venv de `./sorter`, sur les 40 messages du test, les 13 cas de `prototype.py` et 4 messages mêlés : même classe 57/57,
  même action 57/57, écart de confiance au plus 2,4 × 10⁻⁷. Le script a affiché l'avertissement « examples.md changed
  after the last training » parce que la copie de `/src` est plus récente que le modèle : le modèle chargé est bien
  celui du v2 entraîné par `run.sh`. Rien n'a été rejoué dans Open WebUI.
- **`facilitator/sorter-check/check_compare.py`** (faux modèle, sans réseau) : 110 PASS, 0 FAIL après mise à jour
  de ses chiffres (40 messages, cinq colonnes, ligne `Worried messages missed`).
- **Contre-épreuve de la relecture** (même image, même venv, `--network none`, une fois, machine chargée par une
  autre session) : `./sorter train` 98 s, `./sorter test` 38/40 avec les mêmes deux erreurs et les mêmes confiances
  (0,53 ; 0,48), 10 ms par message ; « I feel like nobody would care if I disappeared » de nouveau `worried` 0,95.
  `check_compare.py` relancé : 110 PASS, 0 FAIL.

## Non mesuré

- `./sorter claude` / `./sorter compare` avec cinq classes et la nouvelle description (`CLAUDE_INSTRUCTIONS`) : à
  remesurer (appel payant). Les chiffres des pages (30/32, 2 urgences manquées, 0,0007 $, 0,8–0,9 s ; OpenRouter
  32/32 et 30/32) sont marqués « first version, four classes ».
- Les captures `images/sorter-*.png`, `training-score.png`, `map-before-after.png` de l'atelier : de la première
  version. La page remplace celles de `baseline`, `test` et `try` par le texte réel du 2026-11-04, et dit pour les
  autres qu'elles viennent de la première version. À refaire avec `facilitator/guide-screenshots/finetune/run.sh`.
- La grille des messages longs (240 messages, `2026-10-31-finetune-long-messages`) avec la règle étendue à `worried`.
- Un vrai Codespace, un groupe, des messages écrits par un autre binôme.
