# OpenRouter : mesures du 2026-11-02

Suite de `../2026-11-01-openrouter-free/`, avec la clé de test OpenRouter de Sébastien (passée par l'entrée standard,
jamais affichée), accord pour 1 $ au plus. Kit de `57dc15c`. Dépense relevée par l'API de la clé
(`or_usage.py`) : `usage_daily` passe de 0 à **0,0299 $** pour toute la série (le champ `usage` est resté figé à
0,3061 $ après la mesure e : compteur en retard, ne pas le lire comme le total). Rien avec un groupe, rien dans un vrai
Codespace.

Deux montages :
- **a et b**, Open WebUI : sur le portable, commandes du kit (`kit/.devcontainer/bin`) devant le PATH, HOME jetable
  (sudo demande un mot de passe ici : la clé reste en 600, message « cannot be locked away » attendu), copie du kit,
  `WORKSHOP_OPENWEBUI_PORT=3104` (jamais 3000), Open WebUI v0.12.4 ;
- **c, d et e**, OpenCode 2.1.4 : conteneur jetable de l'image `2026.10.45` (4 Go, 2 cœurs), `workshop-start 5`.
  Une session interactive est pilotée en pseudo-terminal par `drive.py` : il tape la demande, accepte chaque invite
  de permission d'OpenCode par Entrée, et s'arrête après 30 s de calme. En `-p`, OpenCode refuse les écritures.

## a) Open WebUI avec DeepSeek (clé sans `--model`)

- `workshop-login` : `Key OK (OpenCode, OpenRouter, model openrouter/deepseek/deepseek-v4-flash)`.
- `openwebui start` : 1 min 48, 37 fichiers, 82 s pour les connaissances.
- `replay RAG` : 11 réponses en 48 s, en-tête `model deepseek/deepseek-v4-flash`. `score RAG --auto` (juge DeepSeek) :
  **15/20**, une note sur 11 illisible pour le juge (Q6), 0,0029 $ selon OpenRouter. Q10 : 2.
- `openwebui chatbot` (AGENTS.md = Feurisson) : importé en 1 min 50 (« my-chatbot chatbot »).
- Questions au chatbot par l'API de chat (`ask_chatbot.py`) :
  - sans `session_id`, Open WebUI n'envoie pas ses outils (853 jetons d'entrée). DeepSeek répond alors faux à « How
    many fire vigilance levels… » (« 4 levels: green, yellow, orange and red ») et prétend le tenir de ses
    connaissances. Cela montre ce que fait ce modèle sans recherche, pas ce que voit un binôme ;
  - avec un `session_id`, les outils partent (environ 6 000 jetons ; 27 outils intégrés, avant le 2026-11-04 ;
    depuis, 6 outils de la base, ~1 300 jetons estimés, `../../../openwebui-prototypes/hardening/`, image
    2026.11.4). DeepSeek répond « I'll look that up in my
    knowledge base » : l'API sans flux ne rend que ce premier message, pas la suite de l'appel d'outil.
  **La réponse du chatbot importé n'est donc pas mesurée** : il faut un navigateur (Playwright ou à la main).

## b) La même chose avec `--europe`

- `workshop-login --europe` : `model openrouter/mistralai/mistral-small-2603, hosted in Europe`, fenêtre enregistrée
  262 144.
- `start` 24 s (conteneur existant), `sizes` 1 min 34, `query` (Q10) : mêmes 5 extraits et mêmes scores que la mesure
  sans modèle (0,861 à 0,847).
- `replay RAG` : 11 réponses en 13 s, en-tête `model mistralai/mistral-small-2603`. `score RAG --auto` (juge Mistral
  Small 3.2) : **16/22**, 0,0006 $. **Q10 : 0** : « 2 242 195 hectares burnt outside the EU », c'est le total qui
  inclut l'UE (DeepSeek, en a, donne les deux chiffres et la contradiction). Q2 : 1 (« invented date »).
- `openwebui chatbot` : 2 min 21. « Who are you? » : Feurisson. Question sur les niveaux : réponse vide par l'API,
  même limite qu'en a.
- Le relais qui note le fournisseur réel (`europe-proxy.py` du 2026-11-01) n'a pas été remis : `mistral/eu` n'est pas
  vérifié ici.

## c) Gemma `:free`, à une autre heure

2026-11-02 à 21 h 49 (le 2026-11-01 : dans la journée). `workshop-login --model google/gemma-4-26b-a4b-it:free` :
`Free requests left today: 1000`. `replay C` : Q1 juste (7 783 feux, 1 079 538 ha, sources), puis Q2, Q3 et Q4 en
**429 « Provider returned error »**, arrêt après trois erreurs, 8 s. Même résultat que le 2026-11-01 : le compte a son
quota (1 000 par jour), c'est le fournisseur du modèle gratuit qui refuse le débit.

## d) Skill avec écritures, DeepSeek, en pseudo-terminal

`workshop C` interactif, « Summarize corpus/text/80-benevento-aib-2026.md » : la skill `summarize` se déclenche,
**2 invites de permission** acceptées, 82 s. Écrits : `summaries/80-benevento-aib-2026.md` (41 lignes, `status:
draft`, `generated.by: deepseek/deepseek-v4-flash`) et `summaries/checks/80-benevento-aib-2026.md` (table de
vérification). Coût : 0,0025 $ (écart de `usage` avant et après). Contenu non vérifié contre la source.
`d/session.raw.gz` : flux brut du terminal.

## e) ingest puis lint, DeepSeek puis Mistral Small 2603

| | DeepSeek v4 Flash | Mistral Small 2603 |
|---|---|---|
| ingest (pseudo-terminal) | 76 s, 2 invites ; page `aib-2026-campaign-benevento.md` et `index.md` ; **pas** de ligne dans `log.md`, pas de lien depuis Montoro, aucune contradiction relevée | 80 s, 1 invite ; page `campagna-antincendio-boschivo-2026-benevento.md` seule (28 lignes) : ni index, ni journal, ni contradiction ; dates 15 juin - 15 octobre justes |
| lint (`workshop E -p`) | 61 s, rien modifié ; 19 pages lues ; les 6 contradictions des pages retrouvées, dont les 3 du 2026-11-01 ; signale la nouvelle page **orpheline** ; propose 3 corrections ; s'arrête sur la limite de pas de l'agent et le dit | **10 s**, rien modifié ; lit seulement `index.md` et `log.md`, puis « Pages: 22 … Contradictions: 0. Everything is clean! » : **faux** (19 pages de sujet, 6 contradictions dans les pages, une page absente de l'index) |
| coût | environ 0,010 $ pour les deux | non séparé (compteur `usage` figé) ; dans les 0,0299 $ du jour |

Pour comparer, Sonnet (mesure du même jour, `../2026-11-02-wiki/`) : page, deux pages liées, index, journal et deux
contradictions à l'ingestion ; lint de 72 s, 0,34 $.

**À retenir pour la voie OpenRouter** : l'ingestion de ces deux modèles ne suit pas le schéma du wiki (journal,
liens, contradictions) ; le lint de DeepSeek le voit en partie, celui de Mistral Small 2603 affirme que tout va bien
sans avoir lu les pages. Avec `--europe`, l'atelier 5 n'a donc pas de lint fiable.

## Hors de portée sans groupe

Un vrai 429 dû au débit d'une salle, un petit solde, le mode classe avec des participants, le coût par binôme.

## Non mesuré

La réponse du chatbot importé dans le navigateur (a, b) ; le fournisseur réel de b (`mistral/eu`) ; un second essai
de chaque ; le contenu du résumé de d contre sa source ; le coût séparé de e avec Mistral.
