# OpenRouter : mesures du 2026-11-01

Une clé `sk-or-` doit donner une voie complète sans Claude : OpenCode comme moteur, pas de modèle Claude par
défaut pour le chatbot, le juge ou le trieur. Ce dossier dit ce qui a été mesuré pour choisir ces modèles.

Tout a tourné dans l'image 2026.10.42, nouveau `bin/` devant le PATH, avec OpenCode 2.1.4, sur une copie du kit
préparée par `workshop-start 5`, clé passée par l'entrée standard. Chaque requête OpenRouter porte
`provider: {data_collection: deny}`. Rien n'a été joué avec un groupe ni dans un vrai Codespace.

## Vague 1 : une question sur 13 modèles gratuits

`wave1.sh`, résultats bruts dans `wave1/` (mode C, question 1, un essai, clés de secours désactivées, sans la
règle `deny`). 10 modèles sur 13 ont répondu juste.

**Correction de `wave1.csv`, gardé brut.** `dots-studio/dots-3-note-preview:free` n'a pas été testé. Il est absent
du catalogue d'OpenCode 2.1.4, qui l'a remplacé en silence par `recursive/flint-v1.0:free`, d'où le même 503 et
la même durée que flint. Un faux point d'accès l'a montré : le modèle envoyé était flint, pour tout nom inconnu du
catalogue (`nemotron-3-super` périmé compris). Depuis, `workshop-opencode` déclare toujours le modèle, ce qui
envoie le bon nom.

**Les 8 réponses marquées `test_material`.** 7 viennent d'un `grep` sur tout le kit, qui renvoie la ligne de la
question 1 de `test-questions.md`. La 8e (`inkling`) n'a fait que lister des noms de fichiers : fausse alerte.
Sonnet l'avait déjà fait en mode F le 2026-10-31. Un `.ignore` ne suffit pas (`include=*.md` passe outre). `replay`
tourne maintenant, pour OpenCode, dans une copie du kit sans le matériel de test : 0 alerte sur les 61 réponses de
la vague 2, alors que DeepSeek cherche souvent dans `.`.

**Compteur à 0.** Le compteur du quota a affiché 0 pour plusieurs modèles dans la vague 1. Cause non établie : la vague 4
montre que `north-mini-code` le consomme bien (retard du compteur, ou autre chose).

## Vague 2 : la grille

`wave2.sh`, réponses dans `wave2/<modèle>/answers/`. Modes bare, A, C, D et E sur les 11 questions, B sur 1, 3 et 7.
Modèles lancés en même temps. Notes de `claude-haiku-5-5` en direct (`judges/claude-haiku-5-5.jsonl`) : une
machine, pas un humain, et un seul essai.

| Modèle | bare | A | B | C | D | E | Réponses vides ou en erreur |
|---|---|---|---|---|---|---|---|
| `deepseek/deepseek-v4-flash` | 2/22 | 11/22 | 6/6 | 20/22 | 19/22 | 19/22 | 0 |
| `mistralai/mistral-small-3.2-24b-instruct` | 10/22 | 8/22 | 4/6 | 16/22 | 14/22 | 14/22 | 0 |
| `google/gemini-2.5-flash-lite` | 10/20 | 12/22 | 5/6 | 12/20 | 1/2 | 9/16 | 8 vides ou en erreur sur 51 |
| `google/gemma-4-26b-a4b-it:free` | 8/22 | 12/22 | 3 échecs | 3 échecs | 3 échecs | 3 échecs | 429 dès C |
| `cohere/north-mini-code:free` | 3 échecs | 3 échecs | 3 échecs | 3 échecs | 3 échecs | 3 échecs | 429 sur 17 réponses, 1 autre erreur, sur 18 |

`replay` s'arrête après trois erreurs de suite : ces lignes ne notent pas les modèles gratuits, elles montrent
seulement qu'ils ne tiennent pas ce débit avec deux modèles gratuits en parallèle. Un essai en série de
`north-mini-code` (`wave3/`) a échoué aussi, mais le quota du jour était épuisé (65 utilisés pour 50). La vague 4
les rejoue un par un, quota plein.

DeepSeek reste plus lent : 3 à 4,5 minutes par `replay` de 11 questions en bare, C, D et E, contre 32 à 53 s pour
Mistral. Il cherche sur 10 réponses sur 11 en C, Mistral sur 6.

## Vague 4 : le parcours par défaut, compte crédité

`wave4.sh`, résultats dans `wave4/`, notes de Haiku en direct dans `judges4/`. 10 $ de crédits achetés, donc
1 000 requêtes gratuites par jour. Clé collée sans option, dans une copie de la branche à son commit :

- `workshop-login` : `Key OK (OpenCode, OpenRouter, model openrouter/deepseek/deepseek-v4-flash)`.
- Skill : la demande « Summarize corpus/text/10-… » déclenche `summarize` avec DeepSeek (pas de 402 cette fois, sortie
  plafonnée à 8 192 jetons). Mistral Small la déclenche aussi (`wave3/`).
- `replay D` : 11 réponses en 2 min 43, $0.02 affichés. **Haiku note 22/22, alors que le même modèle avait 19/22
  dans la grille** : d'un essai à l'autre, l'écart atteint 3 points sur 22. Une note seule ne classe pas deux modèles.
- `score D --auto` : le juge DeepSeek note 21/22 pour $0.0008, et `scores-judge.md` porte la ligne `Models:`.
- `./sorter compare` sans option : 32/32, 0 urgence manquée, 17 s, $0.0003 (Mistral Small, deuxième essai).

Modèles gratuits, un par un, avec 90 s entre deux :

| Modèle | Résultat en mode C | Requêtes |
|---|---|---|
| `cohere/north-mini-code:free` | 18/22 selon Haiku, 3 min 04, 0 erreur | 60 à 62 du quota pour un `replay C` |
| `google/gemma-4-26b-a4b-it:free` | 3 questions en 429 en 10 s, arrêt | non compté à part |

`north-mini-code` utilise donc le quota, contrairement à ce que laissait croire la vague 1 : 60 à 62 requêtes pour 11
questions, soit environ 5,5 par question. L'écart de 935 à 873 est lu après le `workshop-login` du modèle suivant : il
compte son essai, et peut-être celui de `north-mini-code`.

## Juges

`judges.sh` et `judge_compare.py` : les 181 réponses non vides, notées par chaque candidat, comparées à Haiku.

| Juge | Note identique à Haiku | Écart de 1 | Écart de 2 | Sans note | Coût rapporté |
|---|---|---|---|---|---|
| `deepseek/deepseek-v4-flash` | 150/180 (83 %) | 30 | 0 | 1 | $0.016 |
| `google/gemini-2.5-flash-lite` | 133/154 (86 %) | 20 | 1 | 27 | $0.039 |
| `mistralai/mistral-small-3.2-24b-instruct` | 135/181 (75 %) | 44 | 2 | 0 | TO BE COMPLETED |

Les coûts viennent de la fin de `judge_compare.py`, copiée dans `session-extracts.txt` (0,01599 et 0,03937). `judges.sh`
ne les gardait pas, et les `.jsonl` n'ont pas de champ coût. La ligne de Mistral Small n'a pas été retrouvée.

## Trieur (`./sorter compare`, 32 messages de test)

Un essai, `wave3/sorter-*.txt`. `claude-haiku-5-5` en direct : 30/32 et 2 urgences manquées (mesure du 2026-10-31).

| Modèle | Bien classés | Urgences manquées | Temps | Coût |
|---|---|---|---|---|
| `mistralai/mistral-small-3.2-24b-instruct` | 32/32 | 0 | 18 s | $0.0003 |
| `deepseek/deepseek-v4-flash` | 30/32 | 1 | 38 s | $0.0002 |
| `google/gemini-2.5-flash-lite` | arrêté à 6 messages (`Provider returned error`, cause non établie) | - | - | - |

## Choix

- Chatbot : `deepseek/deepseek-v4-flash`. Juge : le même.
- Trieur et second modèle du mode classe : `mistralai/mistral-small-3.2-24b-instruct`.
- Avec `--europe` : chatbot `mistralai/mistral-small-2603` (262k à `mistral/eu`, le mode B tourne). Juge, trieur et second
  modèle du mode classe : Mistral Small 3.2.
- `inkling-small` et `inkling` sont écartés : leur accès gratuit est réservé aux « agentic harnesses » (403 sur tout
  appel direct), et les conditions de Thinking Machines interdisent les données d'enfants.
- `nemotron-3.5-super-vl:free` est écarté : avec `data_collection: deny`, aucune entreprise ne peut le servir.

## Compte et coût

D'abord sans crédit acheté (`total_credits: 0`, `is_free_tier: true`). OpenRouter a laissé passer 0,17 $ de
découvert, puis a répondu 402 : « You requested up to 195288 tokens, but can only afford 20387 ». OpenCode réserve
la plus longue réponse possible à chaque requête : `workshop-opencode` plafonne donc la sortie à 8 192 jetons pour
OpenRouter (vérifié sur faux point d'accès et dans la vague 4, pas avec un petit solde réel). Après l'achat de 10 $,
`is_free_tier` passe à false et la limite gratuite à 1 000 par jour. Total des mesures OpenRouter : 0,20 $.

## Open WebUI

`owui-real.sh`, résultats dans `owui-real/` : vrai Open WebUI v0.12.4 sur le port 3104, avec Mistral Small par
OpenRouter. `start` 250 s, `sizes` 885 s (2 cœurs, trois autres mesures en parallèle), `query` juste, `replay RAG`
11 réponses, 0 min 44 s selon l'outil (46 s selon `owui-real.log`, qui compte l'enrobage), 0 ERROR, rien dans le journal d'erreurs.

`owui-fake.sh` : même Open WebUI contre un faux OpenRouter (`owui-recorder.py`). `data_collection: deny` arrive dans
chaque requête, chat et RAG. Un modèle dont l'id porte `/` et `:` marche. Après `workshop-login --model` puis
`openwebui start`, les trois modèles RAG suivent le nouveau modèle. Le mode classe démarre et affiche l'avertissement.

## Europe

`europe-real.sh`, résultats dans `europe-real/` : `workshop-login --europe` avec la vraie clé, compte ordinaire, Mistral
Small, Open WebUI v0.12.4 sur le port 3104, tout passé par un relais (`europe-proxy.py`) qui note la règle envoyée et le
champ `provider` de la réponse, sans jamais écrire l'en-tête Authorization. Un essai, deux cœurs, nouveau `bin/` devant
le PATH. Fenêtre enregistrée : 32 768.

- 62 requêtes de modèle, toutes avec `zdr`, cinq entreprises dans `only` (Mistral, Amazon, Azure deux fois, Google : liste réduite ensuite, voir plus bas) et `allow_fallbacks: false`. 60 en 200, toutes avec
  `provider: Mistral` : OpenCode en C (questions 1, 3, 7) et D (question 8), juge, trieur, Open WebUI, essais de
  `workshop-login`.
- 1 en 400, à 16:41:29, la minute de `replay B 1`, qui finit sur `compaction.failed` sans réponse. Le relais ne garde pas
  les corps : le lien entre les deux est probable, pas prouvé. Le mode B est maintenant refusé avant tout envoi par
  `workshop-opencode` ; ce refus n'a été essayé que sur le faux point d'accès.
- 1 en 404 : `workshop-login --model deepseek/deepseek-v4-flash`, avec le message prévu (code 4).
- `score C --auto` : 5/6 par le juge Mistral Small, $0.0003. Non comparé à Haiku sur ces réponses.
- `./sorter compare` : 32/32, 0 urgence manquée, 20 s, $0.0002 (troisième essai de Mistral Small, cette fois épinglé).
- `openwebui start` 101 s, `replay RAG 1 7` 6 s : réponse chiffrée à la 1, « I don't know » à la 7.
- Coût : 0,0065 $ en additionnant les coûts vus par le relais. Le compte montrait 0,0062 $ à la fin : il n'avait pas
  encore compté les deux dernières requêtes d'Open WebUI (0,00031 $).

Le relais montre ce qu'OpenRouter déclare : un nom d'entreprise, jamais une région ni un endpoint. La région vient de
la règle envoyée et de la liste d'OpenRouter, pas de la réponse.

Avant ce passage, deux appels réels à la main (`session-extracts.txt`, 15:26 UTC). `openrouter.ai` avec `mistral/eu`
seul : 200, Mistral. `eu.openrouter.ai`, corps sans `only` : 403 `error code: 1010`. Ce 403 ne dit pas que le forfait
en est la cause. La fenêtre de 256 000 de `/api/v1/models` est dans le même fichier. Deux énoncés de
`data-policies-2026-11-01.json` (« Non testé, faute de clé », « Non essayé ») datent d'avant ces appels.

**Liste réduite à `mistral/eu`.** Les conditions d'Amazon et d'Azure n'ont pas été lues, celles de Google peuvent exclure
les moins de 18 ans : `EUROPE_ENDPOINTS` ne garde que Mistral. `europe-real-2.sh` rejoue la connexion, `replay C 1 3` et
`score C --auto` : 14 requêtes sur 14 avec `only: ["mistral/eu"]`, en 200, `provider: Mistral`. `workshop B` y est refusé
sans requête. Open WebUI et le trieur n'ont pas été rejoués avec cette liste.

**`mistralai/mistral-small-2603`, le modèle de `--europe`.** `europe-real-3.sh`, résultats dans `europe-real-3/` : un essai,
deux cœurs, relais, `workshop-login --europe --model mistralai/mistral-small-2603`, `mistral/eu` seul. Avant, le mode B
échouait avec Mistral Small 3.2 sur la vraie route (fenêtre de 32 768, `compaction.failed`).

- Fenêtre enregistrée : 262 144. Prix à `mistral/eu` : 0,165/0,66 $ le million (Mistral Small 3.2 : 0,10/0,30 et 32k).
- 100 requêtes sur 100 en 200, toutes avec `only: ["mistral/eu"]`, `zdr`, sans repli, toutes `provider: Mistral` : 89 sur
  `mistral-small-2603`, 11 appels du juge sur Mistral Small 3.2.
- `replay B 3 7 10` : pas d'erreur, 10 s, environ 70 000 jetons par question (69 977 à 69 998), 0,01 $ affiché. Notes de
  Haiku : 3/6 (Q3 1, Q7 2, Q10 0).
- `replay C`, 11 questions : 1 min 06, 0,01 $ affiché, Haiku 15/22. Mistral Small 3.2 sans épinglage (vague 2) : 16/22, et
  4/6 en B sur les questions 1, 3 et 7 (pas les mêmes). L'écart entre deux essais d'un même modèle a atteint 3 points sur 22 :
  cela ne classe rien.
- `replay D 1 8` : 4/4 par Haiku, l'outil `fire_danger` a été appelé.
- `score C --auto`, juge Mistral Small : 17/22, 0,0007 $.
- `./sorter compare` avec `WORKSHOP_SORTER_MODEL=mistralai/mistral-small-2603` : 32/32, 0 urgence manquée, 20 s, 0,0003 $.
- Coût : usage du compte de 0,2093 à 0,2460, soit 0,037 $ ; 0,0368 $ en additionnant le relais.

Notes de Haiku dans `europe-real-3/haiku.jsonl` : Haiku ne sert que d'étalon, personne ne l'utilise sur cette voie.

**Parcours par défaut de `--europe`.** `europe-real-4.sh`, résultats dans `europe-real-4/` : `workshop-login --europe` seul,
donc `mistralai/mistral-small-2603`, fenêtre 262 144. `replay bare` 55 s, `replay A` 14 s, `replay E 1 3` 9 s, `replay B`
complet 26 s ($0.01 affiché, ~70 000 jetons par question), `./sorter compare` 32/32 et 0 urgence manquée (Mistral Small 3.2,
`only: [mistral/eu]`), Open WebUI en mode kit (`start` 57 s, `replay RAG 1 7` 2 s, ~1 700 jetons), puis mode classe
(`start` 24 s, aucun avertissement au départ ni à `share open`, deux modèles de base avec la règle, une vraie question à chacun
par l'API, compte administrateur, `class-chat.py`). 78 requêtes sur 78 en 200, `provider: Mistral`, 0 ERROR. Ni
participants, ni navigateur, ni vrai Codespace. Coût : 0,0192 $ au compte à la fin, 0,0301 $ additionnés par le relais.
Le prix affiché ferait attendre ~0,13 $ pour `replay B` (11 × 70 000 × 0,165 $/M) : l'écart vient peut-être d'un cache
de texte chez Mistral (atelier 2, « Do the sum »), non vérifié : ne pas en tirer un coût de séance.

**Plafond suggéré par clé, estimation et non mesure.** Décidé avec Sébastien le 2026-11-01 : une séance vaut environ quatre
`replay`, soit 44 questions. À $0.01 ou $0.02 le `replay` affiché : ~$0.08. Pire cas, les 44 en mode B au prix de liste :
44 × 70 000 × 0,165 $/M = ~$0.51, sortie non comptée. D'où 1 $ par clé pour une séance, 3 $ pour les six ateliers.

## Données

`data-policies-2026-11-01.json` : 118 faits relevés dans les pages d'OpenRouter et des entreprises, chacun avec sa
citation et son adresse, puis relus par un second agent chargé de les réfuter. Relevé par des modèles : à relire
avant toute décision juridique.

## Reste à mesurer

- Un petit solde réel et un 429 réel en séance, avec un groupe.
- `gemma-4-26b-a4b-it:free` à un autre moment : le 429 vient du fournisseur (« Provider returned error »).
- Une relecture humaine d'un échantillon de notes, dont les écarts entre Haiku et DeepSeek.
- La même grille rejouée plusieurs fois, pour connaître la dispersion d'une note.
- La grille complète avec `--europe` : les notes de Mistral Small de la vague 2 ne sont pas des notes en Europe, et
  `mistral-small-2603` n'a joué que B (3 questions), C et D (2 questions).
- `openwebui` et `replay RAG` avec `mistral-small-2603`.
