# Atelier 2 : la démonstration de saturation, avec la vraie API (2026-11-05)

Décision de Sébastien (2026-11-05) : « un seul vrai appel pour vérifier le refus et son coût, puis la démo et la bande
de 2 m dans la fiche 2 et le deck 2 ». Conception et mesures gratuites de la veille : `../2026-11-04-saturation/`.
Plafond : 0,21 $ en tout (le reste des 0,50 $ fixés pour les appels payants de la session, après les 0,29 $ du remesurage RAG de l'atelier 2), coût attendu 0 $. Cinq appels `count_tokens` (gratuits) avec la même clé avant l'appel réel.

## En bref

- **Refus confirmé par la vraie API.** Kit copié trois fois, `workshop B --model claude-haiku-4-5`, question 10 :
  `Prompt is too long · the request is ~237206 tokens (limit 200000) but this conversation is only ~433 tokens — the
  rest is system prompt, tool definitions, and attachment content. A single-exchange conversation cannot be
  compacted; reduce attached files/tools or start with less context.` Code 1, `terminal_reason: prompt_too_long`.
- **Coût affiché par Claude Code, forme `-p` : 0 $** (`total_cost_usd: 0`, `modelUsage: {}`, tous les compteurs de jetons à 0).
  Une seule requête `/v1/messages` partie, réponse de l'API `400 invalid_request_error`, « prompt is too long:
  237206 tokens > 200000 maximum » (`request_id` `req_011CgjDNEFTJnGDTPRZnDG1Q`). Aucune réponse du modèle.
  **La console Anthropic n'a pas été regardée** : à vérifier par Sébastien (date ci-dessous).
- **Durée** : 2,0 s de bout en bout (lanceur compris), 620 ms selon Claude Code ; envoi d'environ 0,75 Mo depuis le
  portable (pas depuis un Codespace).
- **Le chiffre n'est pas 300 000** : Haiku 4.5 découpe le même texte en moins de jetons que Sonnet 5.5 (compté :
  81 418 contre 104 723 pour la requête du kit ×1, 22 % de moins). Trois kits : 237 223 pour Haiku 4.5,
  304 349 pour Sonnet 5.5. Les deux dépassent 200 000.
- **Deux copies ne suffisent pas avec Haiku 4.5** : 159 325 jetons (compté), la question serait acceptée et payée.
  Garder trois copies.

## Méthode

- Image épinglée `ghcr.io/youth-ai-lab/yal-workshop-devcontainer:2026.11.4` (Claude Code 2.1.303), conteneur
  `owui-sat-run` (utilisateur `vscode`) sur un réseau `owui-sat-net` **débranché** (`docker network disconnect`) pour
  toutes les phases sauf l'appel réel ; conteneur et réseau supprimés à la fin. Script : `inside.sh`, une phase à la
  fois.
- **setup** (sans réseau) : fausse clé, copie de `workshops/2-rag` dans `/tmp/ws` (`WORKSHOP_HOME`), puis les
  commandes de préparation de la fiche, telles quelles, sous zsh : 76 copies, 702 744 caractères de texte du mode B
  (234 352 pour le kit seul). Aussi `/tmp/two-kits` (38 copies, 468 548 caractères), pour le seul compte gratuit.
- **capture** (sans réseau) : la commande de la démo, `-p` et `--output-format json`, contre `capture_api.py`, un
  faux point d'accès qui garde le corps de la requête (hors dépôt : il contient tout le kit) et refuse comme l'API.
  Pour ×1, ×2, ×3 : **une seule requête** par lancement (`/v1/messages`, `claude-haiku-4-5`, `max_tokens` 32 000,
  aucun outil, le kit dans le prompt système : bloc de 716 257 caractères pour ×3). Aucune requête annexe vue.
- **count_tokens** (gratuit, depuis le portable, `count_tokens.py`) : les corps capturés, réduits à `model`,
  `system`, `messages`, `thinking`, avec le même en-tête `anthropic-beta`. Cinq requêtes, toutes `200`.
- **login-real** (sans réseau) : la vraie clé, lue sur l'entrée standard depuis le fichier monté en lecture seule.
  Sans réseau, `workshop-login` ne peut pas la tester (code 3, « Key saved, but Anthropic could not be reached ») :
  **aucun appel de test de clé**. Sa sortie montre le début et la fin de la clé : la sortie brute est restée hors du
  dépôt puis a été effacée ; `results/login-real.txt` est la copie expurgée.
- **real** (réseau rebranché, puis débranché aussitôt après) : l'**unique** lancement, sans `ANTHROPIC_BASE_URL` :

  ```bash
  WORKSHOP_HOME=/tmp/three-kits workshop B --model claude-haiku-4-5 --max-budget-usd 0.20 \
    -p "How many hectares burnt outside the EU in 2025?" --output-format json
  ```

  `--max-budget-usd` existe dans Claude Code 2.1.303 (« only works with --print ») et passe par le lanceur. Il ne
  pouvait pas servir ici : Claude Code compte la dépense après une réponse, et la seule garde utile était le compte
  préalable (plus de 200 000, donc toute requête portant le kit est refusée).

## Résultats

Comptes gratuits (`results/count-tokens-*.jsonl`), requête entière (prompt de Claude Code, `AGENTS.md`, kit,
question) :

| Kit | Haiku 4.5 | Sonnet 5.5 |
|---|---|---|
| ×1 (234 352 caractères) | 81 418 | 104 723 |
| ×2 (468 548) | **159 325** : tiendrait, serait payé | non compté |
| ×3 (702 744) | **237 223** | 304 349 |

L'appel réel (`results/real.json`, `real.err`, `real.time`, `real-transcript-extract.jsonl`) :

| | |
|---|---|
| Heure (UTC) | 2026-11-05T05:16:59Z à 05:17:01Z |
| Code de sortie | 1 |
| Durée | 2 041 ms mesurés autour de la commande ; `duration_ms` 620, `duration_api_ms` 0 |
| Message | ci-dessus (« En bref »), `~237206 tokens (limit 200000)`, `~433 tokens` de conversation |
| Coût | `total_cost_usd: 0`, `modelUsage: {}`, `input_tokens` et `output_tokens` à 0 |
| Requêtes | une ligne `api-request` dans la conversation enregistrée par Claude Code ; réponse `400`, « prompt is too long: 237206 tokens > 200000 maximum » ; message de réponse `<synthetic>` (écrit par Claude Code, pas par le modèle) |

237 206 jetons pour la vraie requête, 237 223 comptés pour la requête capturée : 17 d'écart (date, identifiants de
session ; non cherché).

**Écart avec le faux point d'accès.** Vers la vraie API, Claude Code ajoute deux en-têtes `anthropic-beta`
(`thinking-binding-controls-2026-08-01`, `cache-diagnosis-2026-04-07`) qu'il n'envoie pas quand `ANTHROPIC_BASE_URL`
pointe ailleurs. Sans effet sur le refus.

**Pourquoi aucune requête payante n'était possible.** Toute requête qui porte le kit ×3 dépasse la fenêtre de
Haiku 4.5 : la question, une reprise, ou une compaction (impossible sur un premier échange, message ci-dessus ; sa
requête porterait aussi le prompt système). Seule une requête annexe sans le kit aurait pu être facturée : aucune
n'a été vue, ni au faux point d'accès (une requête par lancement), ni dans la conversation enregistrée (une seule
`api-request`). Le trafic de télémétrie de Claude Code, s'il y en a, n'a pas été observé.

## Ce qui n'est pas mesuré

- **La facture dans la console Anthropic** (Sébastien : chercher 2026-11-05 vers 05:17 UTC, modèle Haiku 4.5,
  requête `req_011CgjDNEFTJnGDTPRZnDG1Q`). « Nothing was paid » dans les pages repose sur ce que Claude Code affiche
  et sur la réponse 400.
- La question de confiance pour `/tmp/three-kits` à l'écran (la première fois, en interactif) : déjà acceptée dans
  l'essai interactif ci-dessous.
- Un vrai Codespace (temps d'envoi de 0,75 Mo), un groupe, la durée de la démonstration dans la salle.
- La disponibilité de Haiku 4.5 dans le temps (« Active » dans la table de la skill `claude-api`, mise en cache le
  2026-10-06 ; aucune date de retrait connue ici) et dans l'espace de travail de chaque partenaire.
- La fenêtre de 1 M de Sonnet 5.5 avec la vraie API (table de la skill) : non vérifiée, et à ne pas vérifier sans
  plafond (entre 200 k et 1 M, la question serait payée).

## Écran interactif avec la vraie API (2026-11-05, 13:02–13:03 UTC)

Accord de Sébastien du 2026-11-05 (« tu peux lancer les autres points »), dans le reste du plafond de 0,21 $. Script :
`inside_tui.sh` (conteneur `owui-sat-tui`, même image ; `setup` et `extract` sans réseau, `tui` avec). La vraie clé est
enregistrée sans réseau (`results/tui-login.txt`, expurgé ; `workshop-login` ne peut pas la tester, code 3). Accueil
de Claude Code et confiance dans `/tmp/three-kits` déjà acceptés. Puis **un seul lancement** de
`WORKSHOP_HOME=/tmp/three-kits workshop B --model claude-haiku-4-5`, piloté au clavier par
`facilitator/guide-screenshots/claude-code/pty_capture.py` : la question, `/cost`, deux Ctrl-C. Écrans rendus par
`../2026-11-04-saturation/screens.py` (pyte 0.8.2 par `uv run`) dans `results/tui/*.screen.txt`.

- **Avant la question** : `Haiku 4.5 · API Usage Billing`, jauge `0% of context  0 / 200k`.
- **Après** : le même refus qu'en `-p`, `~237356 tokens (limit 200000)`, `~415 tokens` de conversation, « Baked for
  0s », puis la jauge toujours à `0 / 200k`.
- **`/cost`** : `Unknown command: /cost` (Claude Code 2.1.303).
- **Coût** (ligne `cost-state` de la conversation, `results/tui-cost-state.jsonl`) : **0,0001303 $**, une requête à
  `claude-haiku-5-5`, 1 178 jetons lus, 25 écrits, aucune sur Haiku 4.5. La conversation a une ligne `ai-title`
  (« Hectares burnt outside the EU in 2025 ») : cette requête semble être le titre de la conversation (non vérifié,
  aucun relais ici). C'est la « petite requête » vue la veille avec le faux point d'accès ; elle part vers Haiku 5.5,
  pas vers le modèle choisi. La requête refusée : `req_011CgjptCEqFhA1XZ9PTgth1`.

En interactif, la démo n'est donc pas tout à fait gratuite : environ 0,0001 $ par lancement, selon Claude Code.

## Fichiers

- `capture_api.py` : faux point d'accès qui garde les corps et refuse.
- `count_tokens.py` : compte gratuit des corps capturés (clé lue dans `~/.config/yal/test-key`, jamais affichée).
- `inside.sh` : les phases dans le conteneur. Lancement (depuis la racine du dépôt) :

  ```bash
  M=facilitator/workshops/measures/2026-11-05-saturation-real
  docker network create owui-sat-net
  docker run -d --name owui-sat-run --network owui-sat-net --user vscode --entrypoint sleep \
    -v "$PWD/workshops/2-rag:/src2:ro" -v "$PWD/$M:/h:ro" -v "$PWD/$M/results:/out" -v <corps>:/bodies \
    -v ~/.config/yal/test-key:/run/yal-key:ro ghcr.io/youth-ai-lab/yal-workshop-devcontainer:2026.11.4 infinity
  docker network disconnect owui-sat-net owui-sat-run
  docker exec owui-sat-run bash /h/inside.sh setup     # puis capture, puis login-real
  python3 -I $M/count_tokens.py <corps> x1 x2 x3
  docker network connect owui-sat-net owui-sat-run && docker exec owui-sat-run bash /h/inside.sh real
  docker rm -f owui-sat-run && docker network rm owui-sat-net
  ```

- `inside_tui.sh` : l'essai interactif (section ci-dessus) ; `results/tui-*` et `results/tui/` : sa sortie.
- `results/` : `setup-*.txt`, `capture-x{1,2,3}.{json,err}` et `-log.jsonl`, `count-tokens-*.jsonl`,
  `login-real.txt` (expurgé), `real.json`, `real.err`, `real.time`, `real-transcript-extract.jsonl` (lignes
  `api-request`, `assistant`, `cost-state` de la conversation ; sans le corps). Recherche de `sk-ant` dans ce dossier
  avant livraison : seulement la fausse clé de `inside.sh` et le motif d'expurgation.
