# OpenRouter : mesures du 2026-11-05 (ThinkPad)

Tâche de yal-workshop-d2 : le chatbot importé dans Open WebUI avec DeepSeek V4 Flash, et le coût par binôme des
ateliers 1 à 5 avec une clé `sk-or-`. Accord de Sébastien du 2026-11-05 donné à cette session, plafond total de 1 $.
Clé de test OpenRouter passée par redirection ou par l'entrée standard, jamais affichée. Kit de `main` à `01ca99f`,
image `2026.11.4`. Une seule passe, rien avec un groupe, rien dans un vrai Codespace.

**Dépense** : 0,004 $ pour la mesure 1, 0,123 $ pour la mesure 2, 0,13 $ en tout. Ces chiffres viennent du coût
qu'OpenRouter indique dans chaque réponse (`usage.cost`). Le compteur de la clé n'a pas pu servir : il est passé de
7,30 $ à 8,51 $ pendant la mesure, mais quatre conteneurs `robot-bench:hermes` d'une autre session tournaient en même
temps sur la même clé. Il restait 1,49 $ avant la limite de 10 $ de la clé à la fin.

## 1. Le chatbot importé dans Open WebUI (DeepSeek V4 Flash)

Montage : sur le portable, commandes du kit (`kit/.devcontainer/bin`) devant le PATH, HOME jetable sur le disque,
conteneur `owui-or-1105`, port 3141 (jamais 3000), Open WebUI v0.12.4. OpenCode n'est pas installé sur le portable,
donc `workshop-login` refuse la clé : elle a été copiée par redirection dans `~/.workshop-key` du HOME jetable (600),
sans réglage enregistré. `openwebui` prend alors le modèle par défaut d'une clé `sk-or-`, comme après un
`workshop-login` sans `--model` (`a/login.txt`).

Copie du kit comme pour `../../../openwebui-prototypes/real-model-local/results-claude/` : `AGENTS.md` de Feurisson,
le wiki de l'atelier 5 (`wiki-start`), la skill `rumour-check` de l'atelier 3. Pas de document de Bénévent.

- `openwebui start` : 3 min 11, outil fire-danger prêt, 37 fichiers, 159 s pour les connaissances (`a/start.txt`).
- `openwebui chatbot --name "Feurisson"` : 4 min 07, 56 fichiers, skill `rumour-check`, carte du wiki, outil
  fire-danger (`a/chatbot.txt`).
- Questions posées comme la page du navigateur (`ask_or.py` : conversation neuve, `session_id`, outils cochés du
  chatbot ; Open WebUI fait sa boucle d'outils et on relit la réponse enregistrée). C'est la limite de la mesure du
  2026-11-02 qui tombe : la réponse après l'appel d'outil est bien là.

| Question | Temps | Outils appelés | Jetons lus / écrits | Réponse | Coût |
|---|---|---|---|---|---|
| Rumeur : « I heard that in France, clearing the brush around your house is only a piece of advice. » | 16 s | `query_knowledge_files`, `search_knowledge_files`, `view_knowledge_file` ×3 | 29 783 / 1 286 | **en français** alors que la question est en anglais ; « Verdict : PARTIELLEMENT VRAI », la partie vraie et la partie fausse, avec citations de `corpus-text__22` (service-public) ; ajoute l'arrêté des Bouches-du-Rhône « du 15 octobre 2025 » (source 1 : `corpus-text__42`) | 0,0014 $ |
| « Hello, who are you? » | 4 s | aucun | 2 945 / 104 | Feurisson, sans verdict | 0,0001 $ |
| « Which pages of your wiki are about Italy? » | 10 s | `search_knowledge_files` (`wiki__index`), `query_knowledge_files`, `view_knowledge_file` (la carte) | 15 982 / 538 | les **4** pages sur l'Italie, Vésuve compris, d'après la carte ; signale aussi le résumé 70 | 0,0008 $ |
| Q8 (Antwerp) | 8 s | `fire-danger_territories`, `fire-danger_fire_danger` | 9 369 / 470 | pas de niveau (« Not available today »), saison du 1er mars au 30 septembre, échelle, source ANB | 0,0008 $ |

Les jetons et le coût sont ceux qu'Open WebUI enregistre avec la réponse, cumulés sur les tours d'outils.

Mêmes questions que Claude Sonnet 5.5 le même jour (`results-claude/`) : mêmes outils dans le même ordre pour la
carte et pour Q8, même liste de pages sur l'Italie. Pour la rumeur, DeepSeek suit le format du verdict, mais le
traduit et répond en français. Coût : 0,004 $ pour les quatre questions, contre 0,147 $ avec Claude.

**Modèles RAG** (après `openwebui sizes`, 56 s), Q7 et Q10, un essai chacun :

| Modèle | Q7 (Campanie 2025, absent du corpus) | Q10 (hors UE, deux sources en désaccord) | Coût des deux |
|---|---|---|---|
| Wildfire RAG | ne sait pas | 1 162 657 ha calculés, **sans** le désaccord | 0,0002 $ |
| Wildfire RAG 1000 | ne sait pas | les deux chiffres et « the excerpts contradict each other » | 0,0003 $ |
| Wildfire RAG 2000 | ne sait pas | 1 162 657 ha avec le détail (1 092 095 + 70 562), **sans** le désaccord | 0,0002 $ |

`replay RAG` : 11 réponses en 53 s ; `score RAG --auto` (juge DeepSeek) : **17/22**, 0,0007 $ selon le fournisseur
(`b/`). Le coût du `replay RAG` lui-même n'est pas affiché par Open WebUI et n'a pas été relevé.

## 2. Coût par binôme, ateliers 1 à 5

Montage : conteneur jetable de l'image `2026.11.4` (2 cœurs, 4 Go), utilisateur `vscode`, kit de `main` dans
`/workspaces/kit`, `workshop-login --key -` (`c/login.txt` : « Key OK (OpenCode, OpenRouter, model
openrouter/deepseek/deepseek-v4-flash) »). Les commandes de chaque atelier ont été jouées l'une après l'autre dans le
même dossier, comme un binôme, d'après la colonne « What you do » des fiches animateur, avec `workshop-start N`.

Pour le coût : `replay` affiche « cost: $0.00 » en modes bare et A et quelques centimes ensuite, parce qu'OpenCode
n'a pas de prix pour ce modèle (`replay`, ligne 410). Les appels d'OpenCode et du juge sont donc passés par un relais
dans le conteneur (`or_relay.py`, réglé par `WORKSHOP_OPENCODE_BASEURL` et `WORKSHOP_PROVIDER_API`, que le kit
prévoit) : il transmet chaque appel à OpenRouter sans le changer et note les jetons et le coût de la réponse
(`relay.jsonl`, sans en-tête d'autorisation). Aucun appel sans coût, aucune erreur.

| Atelier | Joué | Appels | Coût mesuré |
|---|---|---|---|
| 1 | `replay bare` (2 min 10), `AGENTS.md` = Feurisson, 2 questions en `workshop A -p`, `replay A` (1 min 19), `score A --auto` (13/22) | 36 | **0,0045 $** |
| 2 | `workshop B -p` (1 question), `replay B` (4 min 44), `score B 3 7 10 --auto` (6/6) | 15 | **0,027 $** |
| 3 | 2 questions en `workshop C -p`, `corpus-add` de Bénévent, `summarize`, `validate-summary`, 2 `source-note` (sessions pilotées), skill `rumour-check` copiée puis essayée, `replay C` (3 min 09), `score C 3 8 11 12 --auto` (6/6) | 92 | **0,034 $** |
| 4 | Q8 deux fois en `workshop D -p`, `replay D` (2 min 32), `score D 8 11 --auto` (4/4) | 47 | **0,014 $** |
| 5 | `ingest` de Bénévent (session pilotée), `wiki-graph --highlight 80`, `replay E` (3 min 55), `workshop E -p "lint the wiki"`, `score E 3 10 11 12 --auto` (6/6) | 64 | **0,044 $** |

Pour l'atelier 2, la partie Open WebUI vient de la mesure 1 : 0,0003 $ pour Q10 aux deux modèles 1000 et 2000, et
0,0007 $ pour le juge de `score RAG` sur les 11 questions. Le `replay RAG` n'a pas de coût relevé, mais chaque réponse
d'un modèle RAG mesurée en 1 a coûté entre 0,0001 $ et 0,0002 $.

**Total des cinq ateliers, une passe : environ 0,13 $ par binôme.** Le mode B, qui envoie jusqu'à 69 000 jetons par
question, et l'atelier 5 pèsent le plus. Un vrai binôme pose plus de questions en interactif : ce chiffre est un
minimum. Pour comparer, la fiche de l'atelier 1 donne 0,10 $ pour le seul `replay bare` avec Claude.

Ce qu'on a vu en chemin :
- En mode bare, DeepSeek écrit de faux appels d'outils en texte (`<｜DSML｜tool_calls>`, `web_search`) au lieu de
  répondre (`answers/bare-17h47.md`), comme Haiku et Sonnet le faisaient en mode A avant le 2026-10-27.
- `summarize` a écrit `summaries/80-benevento-aib-2026.md` (`status: draft`, `files/summary-80.md`), mais pas la
  table de vérification de `summaries/checks/`. Contenu non vérifié contre la source.
- `validate-summary` et les deux `source-note` ont chargé leur skill et n'ont rien écrit. Le flux brut du terminal
  (`files/drive-*.raw.gz`) ne permet pas de dire s'ils ont posé une question, comme la skill `source-note` doit le
  faire pour la rumeur.
- `ingest` a cette fois suivi le schéma : nouvelle page (`files/wiki-benevento-page.md`), ligne dans `index.md`,
  deux lignes dans `log.md`, lien depuis la page sur l'Italie. Le 2026-11-02, il n'y avait ni journal ni lien.
- Le lint relève 9 contradictions, chacune avec sa page, et propose une correction sur la nouvelle page
  (source `src80` déclarée mais jamais citée). `w5/lint.txt` ne garde que les 40 dernières lignes.

## Non joué

- Mesure 1 : plus d'un essai par question ; le chatbot `--rag` ; une connexion par `workshop-login` (OpenCode absent
  du portable) ; un navigateur.
- Mesure 2 : la question 12 (vide dans le kit, sautée par `replay` et `score`) ; les notes à la main (`score bare`,
  `--blind`) : le juge a été lancé en `--auto`, ce qui fait les mêmes appels ; la page du binôme et sa propre skill
  à l'atelier 3 ; le niveau d'Anvers rempli à l'atelier 4 (il faut le lire sur le site officiel) ; `/mcp` ;
  Open WebUI dans le conteneur (pas de Docker dedans : `w2/workshop-start.txt` montre l'arrêt attendu), donc
  `openwebui chatbot` des ateliers 1, 3, 4 et 5, la question 8 dans Open WebUI à l'atelier 4 et le chatbot `--rag`
  de l'atelier 2 ; `wiki-explore` et `chatbot-export`, qui n'appellent pas de modèle.

## Fichiers

- `a/` : mesure 1 (`ask-*.json` : question, réponse, appels d'outils, sources, jetons et coût enregistrés par Open
  WebUI ; `start.txt`, `chatbot.txt`, `sizes.txt`) ; `b/` : `replay RAG` et `score RAG`.
- `c/login.txt`, `w1/` à `w5/` : sorties des commandes ; `answers/` : réponses des `replay` et `scores-judge.md` ;
  `files/` : résumé et page du wiki écrits, flux bruts des sessions pilotées.
- `relay.jsonl` : chaque appel (heure, atelier, jetons, coût) ; `ask_or.py`, `or_relay.py`, `or_usage.py` ;
  `usage-start.json`.

Nettoyage : conteneurs `owui-or-1105` et `or-pair-1105` supprimés, volume `owui-or-1105-data` supprimé, HOME jetable
(et sa copie de la clé) supprimé, rien à l'écoute sur 3141. Aucune chaîne de type clé dans ce dossier (recherche
faite) ; `c/login.txt` montre la clé masquée par le kit, dont on a retiré les 4 derniers caractères.
