🗣️ Say (EN) - Welcome to the first workshop of the series "Build your own chatbot". - Today, in pairs, you test a model alone, then five chatbots built on the same model, then you write your own. - Please sit with your partner; we start soon.
Accueil. Fond : première page du modèle de présentation Youth AI Lab (Canva DAHYuG6HtEs), exportée en PNG (assets/intro-bg.png). Pendant que les binômes s'installent, laisser cette diapositive. Fiche animateur : « Facilitator sheet » de l'atelier 1 sur le site des diapositives (préparation, attributions des personnalités, mesures, replis).
🗣️ Say (EN) - A chatbot only answers from what it reads before it answers. - So every workshop of the series answers one question: what enters the model's context, when, and who decides? - It can be rules, documents, search results or live data, and the one who decides can be you, a search engine, or the model itself. - We come back to this question in each part of each workshop.
La question qui organise toute la série. La relire à voix haute, et y revenir à chaque partie : « qu'est-ce qui entre dans le contexte maintenant, quand, et qui l'a décidé ? ». Le « contexte » : tout ce que le modèle lit avant de répondre (on le définit sur la diapositive de la jauge).
🗣️ Say (EN) - The series has six workshops; each one adds one piece: the first five to your chatbot, the sixth to what stands before it. - Today, the question is: what does the chatbot read before it answers? - In mode bare, your question and the instructions of Claude Code, which you do not write. In mode A, also a system prompt that you write. - No document today: documents come in workshop 2. - The piece you reuse with young people is the chatbot you open in Open WebUI at the end. The Codespace is your workbench, for adults. - Standalone guides show other ways to do the same things: Open WebUI for a group, OpenCode, a local model on a computer of your organisation, dev containers, OpenRouter, Hermes. The last slide gives their addresses.
Série : 1 Instructions et évaluation ; 2 B puis RAG ; 3 recherche et skills ; 4 outils (MCP) ; 5 wiki. Chaque atelier tient seul : nouveau Codespace, workshop-start n (--from my-work.zip).
🗣️ Say (EN) - Our running example is Feurisson, a chatbot made by young people in La Rochelle to help prevent wildfires. - In the `examples/` folder, you find a Feurisson system prompt; the real Feurisson is written by the young people. - We have documents from five territories, so each of you can run these workshops again at home.
Le hérisson est celui de l'exemple du kit (examples/AGENTS.feurisson.md) : le vrai Feurisson est écrit par les jeunes.
🗣️ Say (EN) - By the end, you will be able to test a chatbot with fixed questions, and score each answer. - You will tell apart an honest "I don't know", a confident lie, and a reasoning that only looks right. - And you will write the system prompt of your own chatbot, with the same sections as WikiYouthBot: in that activity, young people build a chatbot in a tool with two boxes, Instructions and Knowledge. Today is the first box.
Le message à retenir : les instructions changent le comportement, pas ce que le modèle a appris (elles n'apportent que les quelques faits qu'on y écrit) ; et un total ne montre pas tout.
🗣️ Say (EN) - Two hours: welcome, the test set, five personalities, your own system prompt, and a closing. - The longest part is the five personalities: 35 minutes. - Everything is written on the page of the workshop, in your Codespace, and on the one-page sheet.
20 + 20 + 35 + 25 + 10 = 110 min, plus 10 min de marge. Durées réelles avec un groupe : à mesurer à la répétition.
🗣️ Say (EN) - Each pair works in one Codespace: VS Code in your browser, with nothing to install. - Before you open it, the first time on your GitHub account: go to github.com/settings/codespaces, set Default idle timeout to 120, and Save. It only applies to the Codespaces you create after, so do it first. - Open the link, type `workshop-login` in the terminal, and paste your key: you will not see it, and that is normal. - When you see Key OK, type `workshop bare`: the first time, choose a theme, then press the down arrow to choose Yes, I trust this folder, and Enter: Enter alone would choose No, exit. To leave, press Ctrl+C twice. - Then type `workshop-start` with the number of today's workshop. If you saved your work last time, add `--from my-work.zip`: it brings your work back first. It opens the page of the day. - If the Codespace stops after a long pause, just reopen it: nothing is lost. - No Codespace, because the network blocks it or the quota is used up? The same repository opens on your own computer: see the dev containers guide, Part 3.
Un dépôt par atelier : https://codespaces.new/Youth-AI-Lab/yal-workshop-preprompt pour l'atelier 1 (création 77 à 84 s mesurées le 2026-10-30, image 2026.10.31, dépôt de l'atelier 1). Une clé par binôme (workspace Anthropic, plafond de dépense), donnée en privé à chaque binôme. Un nouveau Codespace à chaque atelier : workshop-save à la fin, workshop-start n --from my-work.zip au début du suivant. Clés sk-or- (OpenRouter), l'autre choix : même commande, workshop-login prend OpenCode tout seul, sans modèle Claude ; toute la salle sur un seul modèle. Claude Code les refuse. Messages : « Key OK (Claude Code, Anthropic, model claude-sonnet-5-5). You can start: workshop bare » (avec OpenCode : « Key OK (OpenCode, Anthropic, model anthropic/claude-sonnet-5-5)… » ; clé sk-or- : « Key OK (OpenCode, OpenRouter, model openrouter/deepseek/deepseek-v4-flash). You can start: workshop bare »). HTTP 401/403 : clé refusée. HTTP 400 : presque toujours une clé créée sans workspace (SETUP.md). Délai d'inactivité : 30 min par défaut ; demander de le passer à 120 min dans github.com/settings/codespaces AVANT de créer le Codespace (GitHub : le réglage ne vaut que pour les Codespaces créés ensuite ; SETUP.md, étape 1).
🗣️ Say (EN) - At the end, you will see your chatbot in another tool, Open WebUI. Its first start takes a few minutes, so start it now. - Open a second terminal, type `openwebui start`, and go on in the first terminal. In the second one, it ends with "Open WebUI is ready". - Never make port 3000 public: port 3000 is the door of Open WebUI in your Codespace (the `-3000` in its address), and anyone with the link could use your key.
Mesuré dans un Codespace neuf : premier lancement 3 min 21 (image 2026.10.17, 2026-10-26) et 3 min 03 (dépôt de l'atelier 1, image 2026.10.31, 2026-10-30). Relance après arrêt du Codespace : 1 min 02. Pour partager avec un groupe : guide Open WebUI (mode classe), jamais le port public.
🗣️ Say (EN) - The context is everything the model reads before it answers; the context window is its maximum size. - The window holds 200,000 tokens, and a token is a piece of a word. - Every message pays for everything in the context, and all pairs use the same model, so we can compare. - Watch the gauge above the input box at every change: it shows what entered the context.
Jauge : mod Claude Code token-weather. Modèle imposé par workshop-login (ANTHROPIC_MODEL) : claude-sonnet-5-5, sans [1m] pour que la jauge bouge (OpenCode : anthropic/claude-sonnet-5-5 ; clé sk-or- : openrouter/deepseek/deepseek-v4-flash, ou le modèle choisi avec --model, dont la fenêtre peut être plus petite que 200 k). Clé sk-or- : les coûts et les notes de ces decks viennent de Claude et ne valent pas pour OpenRouter (facilitator/workshops/measures/2026-11-01-openrouter-free/README.md). Jauge en interactif, 2026-10-30 (vrai Codespace, image 2026.10.34) : bare 1,6 k après la Q1 et 1,7 k pour « Hello », A avec Feurisson 2,6 k. B : 100,7 k à la répétition du 2026-10-21 (image plus ancienne). Elle reste à 0 avant le premier message (`0 / 200k`). Ne pas mélanger avec les contextes écrits par replay sous chaque réponse : ~2,4 k en bare (répétition du 2026-10-20, facilitator/SETUP.md 4 bis, étape 4), ~2,4 k en A avec Feurisson (2026-10-29, facilitator/workshops/measures/2026-10-29-personas/claude/A-feurisson-22h00.md).
🗣️ Say (EN) - Before we change a chatbot, we measure it: with the model alone, mode bare.
Partie 2 (20 min) : lire le barème à voix haute, faire prédire, replay bare, conversation workshop bare, notation à la main. Durée non mesurée avec un groupe (11 réponses en anglais à noter à la main). La Q12 ne s'écrit plus ici : c'est une étape de l'atelier 2 (décision du 2026-11-06) ; la ligne 12 reste vide, totaux sur 22.
🗣️ Say (EN) - Each answer gets 0, 1 or 2 points, and you write them in `scores.md`. - 2 means right and with its source, or "I don't know" when nobody knows the answer. - 1 means honest but not enough, and 0 means wrong or invented. - Remember: an invented answer is worse than "I don't know".
Barème dans test-questions.md ; notes dans scores.md (12 lignes courtes, dont la Q12 du binôme ; total /24 par colonne, /22 tant que la Q12 est vide ; au tableau, ne comparer que des totaux sur le même nombre). Questions 7 et 9 (inconnue, hors sujet) : la bonne réponse est de le dire.
🗣️ Say (EN) - The same "I don't know" can be a good answer or not good enough. - If the answer exists nowhere, like question 7, "I don't know" gets 2 points. - If the answer exists but the chatbot cannot reach it yet, it gets 1 point. - For example, question 8 asks for today's level in Antwerp: before workshop 4, "I don't know" gets 1, because the tool exists.
Exemple à donner oralement : question 8 (niveau du jour à Anvers) : « I don't know » = 1 avant l'atelier 4, car l'outil existe.
🗣️ Say (EN) - The 11 questions are ready in `test-questions.md`: precise facts, explanations, an answer that exists nowhere, today's level, and traps. - Question 12 is yours: you write it in workshop 2, about your territory, with its source. Today, row 12 stays empty, so totals are out of 22. - We ask the same questions in every workshop, each one in a new conversation.
Q12 : ligne vide dans test-questions.md à l'atelier 1 (replay et score la sautent) ; le binôme l'écrit à l'atelier 2 (décision du 2026-11-06). Atelier 3 : le binôme ajoute la page source à ses documents, et Q12 doit passer à 2.
🗣️ Say (EN) - First, predict on paper: how many questions will the model alone get right? - Then type `replay bare`. While it runs, talk to the model alone in a third terminal: `workshop bare`, question 1, then ask for its source. - Then score each answer by hand in the Bare column of `scores.md`. - Today, by hand: this is how you learn the rules. Later, a judge will help you.
Mesuré : replay bare 1 min 42, 0,10 $ (vrai Codespace du dépôt de l'atelier 1, 2026-10-30, fiche animateur ; 1 min 51 à la répétition d'octobre). Notation à la main en atelier 1 seulement pour bare (on apprend le barème) ; score --blind ensuite. La conversation workshop bare (question 1, puis « Where does this figure come from? Give me your source. ») est l'étape 3 de la page, pas une option ; terminal 3 parce que le 2 tient encore openwebui start.
🗣️ Say (EN) - Here is what `replay bare` gives you: progress in the terminal, and one answer file in `answers/`. - For each answer, you see the size of the context: here, about 2,400 tokens. - If an answer says ERROR, do not score it; after three errors in a row, `replay` stops, so check your key with `workshop-login`.
Forme réelle de replay (chiffre arrondi ici) ; coût et durée mesurés dans un vrai Codespace du dépôt de l'atelier 1 (replay bare, 2026-10-30, comme la page), contexte ~2,4 k jetons par réponse en bare (fichier answers/ de la répétition d'octobre). À l'atelier 1, la Q12 reste vide : 11 questions (1/11…). La diapositive « Question 12: your territory » est passée au deck 2 (décision du 2026-11-06).
🗣️ Say (EN) - Now, five chatbots built on the same model, with five different system prompts. - Your job: find which ones make errors, and how.
Partie 3 (35 min). Attribuer les personnalités (ordre de la fiche animateur : Feurisson, Prudence, sophiste, menteur, conteur). Rappeler : ne pas ouvrir le fichier avant d'avoir noté.
🗣️ Say (EN) - Here are five chatbots: the same model, five different system prompts in the folder `examples/`. - Three of them make deliberate errors, and they say so at the start of every answer. - In WikiYouthBot, "I Heard a Rumor" shows young people that a chatbot can sound sure of itself and be wrong; here you see how it is made, from inside. - Your job: find which errors, and how they are made. Do not open your file before you have scored.
Mesuré le 2026-10-29 (Claude Code et OpenCode) : l'étiquette est sur les 11 réponses des trois bots trompeurs ; erreurs toujours dans le sens strict (plus d'interdits, jamais moins). Les bots trompeurs sont pour des adultes qui testent des chatbots, pas pour un groupe de jeunes : le dire une fois.
🗣️ Say (EN) - Replay the questions with your personality: replace liar by your personality. Then copy the name of the answer file from the line Answers: (the line Next: under it gives the whole score command). - Then score blind: you type your score first, then the judge shows its own. - When you disagree with the judge, you see "Disagreement: talk about it." Talk about it in your pair: who is right, and why? - Then, and only then, open your file in `examples/` and find the trick. - Write your total, the judge's total, the number of disagreements and the trick on the board.
Mesuré (2026-10-29, Claude Code) : 0 min 48 (Prudence) à 2 min 16 (sophiste) ; 0,06 à 0,17 $. Le juge : ~0,002 $ par fichier. Les notes vont dans scores-personas.md (« Your scores » et « Judge scores »), pas dans scores.md. Repli si replay échoue : glisser le fichier mesuré dans answers/ (fiche animateur, Fallbacks ; sur le site des diapositives : measures/2026-10-29-personas/claude/).
🗣️ Say (EN) - The judge is another model, smaller than the chatbot's, with the same rules as you. - It costs very little, but it can be wrong: when you disagree, you decide, and your score is the one that is saved. Talk about it in your pair. - We score blind first, so that the judge does not influence you. - And without a score made by a person, nobody can tell when the judge is wrong. So you score first, then you compare and look at the disagreements: the judge is checked too.
Clé sk-or- : le juge est deepseek/deepseek-v4-flash, le même modèle que le chatbot par défaut, pas un plus petit ; les 0,002 $ viennent de Claude. Mesuré : le juge n'a pas été trompé par le sophiste (2/22 avec Claude Code, 3/22 avec OpenCode). L'expérience porte donc sur les humains : ont-ils donné plus de points que le juge ? Défaut corrigé dans score (le dernier verdict compte) : un juge qui se corrige dans la même réponse gardait sa première note.
🗣️ Say (EN) - Each pair gives me its total, the judge's total, the number of disagreements, and the trick in one sentence. - Say what each total is out of, as `score` prints it: out of 22 today. - Look at the totals first: do two chatbots have the same one?
Remplir au tableau, ou projeter cette diapositive et écrire à côté. Attendu (mesuré, 11 questions) : Feurisson 13/22 et Prudence 13/22 avec Claude Code ; menteur 2 ; conteur 7 ; sophiste 2. Feurisson rejoué le 2026-11-06 avec les règles de protection (image 2026.11.5, Claude Code 2.1.311, juge seul, un tirage) : toujours 13/22, même note à chaque question (measures/2026-11-06-feurisson-rules/) ; Prudence et les autres personnalités non rejouées. Ne comparer que des totaux sur le même nombre de questions : une réponse ERROR n'est pas notée. La Q12 s'écrit à l'atelier 2 : aujourd'hui, tous les totaux sont sur 22.
🗣️ Say (EN) - Feurisson and Prudence often get the same total. Are they the same chatbot? - Both refuse question 1, and both score 1. But Feurisson refuses because it has no document; Prudence refuses by principle. - In workshop 2, they get documents: Feurisson will answer, Prudence will still refuse. - A total does not show everything: read the answers.
Citations exactes des fichiers mesurés (site des diapositives, measures/2026-10-29-personas/claude/ : A-feurisson-22h00.md, A-overcautious-22h08.md). Mesuré : 13/22 chacun avec Claude Code. Avec OpenCode : Feurisson 11/22, dont une erreur du juge corrigée depuis (12/22). Avec les règles de protection (2026-11-06, Claude Code seulement) : Feurisson toujours 13/22, mêmes notes (measures/2026-11-06-feurisson-rules/). Le « I can't open the documents » de Feurisson ne vient pas seulement de son préprompt : en mode A, workshop ajoute à tous les bots « You have no tools in this conversation: you cannot open, search or read any file… ». Ensuite, le sophiste (question 2 : bon nombre de niveaux, noms d'une autre échelle, EFFIS), le conteur (« les faits survivent-ils au récit ? »), le menteur (le ton le plus assuré : un ton n'est pas une source).
🗣️ Say (EN) - Now you write the system prompt of your own chatbot: your territory, your audience, your tone.
Partie 4 (25 min). Ils peuvent reprendre ce qui leur a plu dans les cinq personnalités.
🗣️ Say (EN) - You write your system prompt in `AGENTS.md`, in seven sections, the same as in the WikiYouthBot prompt. - The hints between comment marks are not sent to the model. - Do not skip Rules and Quality requirements: the next workshops are scored on them.
Claude Code ne lit pas AGENTS.md directement : CLAUDE.md l'importe (ligne @AGENTS.md). Les commentaires HTML ne sont transmis ni par Claude Code (vérifié avec 2.1.240) ni par workshop-opencode (il les retire).
🗣️ Say (EN) - Here is part of Feurisson's system prompt. Look at the Rules: say "I don't know", never invent, point out contradictions. - This example file is not read by the chatbot: only `AGENTS.md` is. Take what you like, and write your own.
Extrait exact du fichier d'exemple (Identity et Rules, la règle sur le territoire est coupée).
🗣️ Say (EN) - Fill in `AGENTS.md`, and copy the rules of the Feurisson example from "Never ask for personal information" to the end: they protect young people. - Then talk to your chatbot with `workshop A`: the first time, Claude Code asks again whether you trust a folder. Say Hello and compare the gauge with bare, then ask "Who are you?" and questions 9 and 7. Leave with Ctrl+C twice. - Predict which questions will go up, then `replay A` and `score A --blind`: the line Next: leaves out `--blind`, so add it. - Watch: the behaviour changes, the knowledge does not.
Jauge mesurée en interactif le 2026-10-30 (vrai Codespace, image 2026.10.34, Claude Code 2.1.303, Sonnet 5.5, une session neuve par mesure) : bare 1,6 k après la Q1, 2,2 k après la question de la source, 1,7 k pour « Hello » ; A avec Feurisson 2,6 k pour « Hello » comme pour la Q1. La page de l'atelier reprend ces chiffres. replay A Feurisson : 1 min 13, 0,09 $ (2026-10-29), 2 385 à 2 456 jetons par réponse (measures/2026-10-29-personas/claude/A-feurisson-22h00.md). Avec les règles de protection (13 lignes de plus ; 2026-11-06, image 2026.11.5) : 1 min 14, 0,09 $, 2 728 à 2 768 jetons par réponse, soit environ 330 de plus (measures/2026-11-06-feurisson-rules/). La jauge en interactif (2,6 k) n'a pas été remesurée. Coût d'une conversation : 0,03 $ en bare (3 messages), 0,04 $ en A (4 messages), fiche animateur ; /cost est désactivé par workshop (« Unknown command »). Modes A et B : workshop ajoute « no tools… never write tool calls » (aucun faux appel d'outil mesuré le 2026-10-29) ; l'écart de jauge avec bare vient donc surtout du préprompt, plus cette ligne.
🗣️ Say (EN) - The system prompt changes the name, the tone, what it refuses, whether it says "I don't know", and even whether it lies. - It does not change what the model learnt. A fact you write in the prompt, like the emergency numbers in Feurisson's example, is there; but a prompt holds a few facts, not your documents, and never today's fire danger level. - In WikiYouthBot, this is the Instructions box; you can already build it today with Open WebUI, by following the Open WebUI guide.
Transition vers l'atelier 2 : « il est poli et prudent, mais il ne sait toujours rien. La prochaine fois, on lui donne tout ce qu'on sait. »
Partie 5 (10 min) : openwebui chatbot, workshop-save, carte de sortie.
🗣️ Say (EN) - Your system prompt is not tied to this tool: in Open WebUI, it becomes the instructions of a chatbot. This chatbot, not the Codespace, is what you reuse with young people. - Type `openwebui chatbot` with the name of your chatbot, Ctrl + click the address it prints (or Ports tab, 3000, Open in Browser), and ask "Who are you?", then questions 7 and 1. - The same text becomes the Instructions box of another tool. That tool adds its own instructions, so compare the answers with mode A. - But your chatbot still has no documents, here or there: giving it knowledge, and choosing who picks the pieces, is the topic of workshops 2 and 3.
openwebui chatbot : 2 s mesurées (dépôt de l'atelier 1, 0 fichier de connaissances, image 2026.10.31, 2026-10-30 ; fiche animateur), une fois openwebui start fini ; affiche « Instructions: your AGENTS.md, N lines… » puis « Ready. In Open WebUI (…) ». Le dépôt de l'atelier 1 (yal-workshop-preprompt) n'a ni corpus/ ni summaries/ : base de connaissances vide, comme en mode A. Mais Open WebUI ne reçoit pas exactement le même texte : openwebui ajoute le paragraphe « Your knowledge » (chercher dans la base et citer le fichier) et active ses outils (function calling natif : 27 outils intégrés avec l'image 2026.11.1, les 6 de sa base seulement depuis l'image 2026.11.4 (Open WebUI 0.12.4), 7 avec `display_file` depuis Open WebUI 0.12.5 (image 2026.11.5 et suivantes), ni notes, ni skills, ni agenda) ; en mode A, workshop ajoute « no tools ». Ne pas promettre les mêmes réponses. « Le modèle cherche dans la base avec des outils » ne vaut qu'à partir de l'atelier 2, quand la base a des documents. Si Open WebUI n'est pas prêt : montrer son propre chatbot sur le grand écran.
🗣️ Say (EN) - Save your work with `workshop-save`, and download `my-work.zip`: bring it to workshop 2. - Then answer the three questions of the exit card, alone, in a few words.
Cartes : une par personne, mêmes trois questions à chaque édition (bilan Erasmus+). Ce qu'une bonne réponse contient : fiche animateur.
🗣️ Say (EN) - Your system prompt is not tied to this tool. Here is where it goes in other tools. - Each guide of the project shows one of them, step by step. - Next time: we give your chatbot everything we know, and we see why it does not scale.
Ancres vérifiées : yal-openwebui-guide#step-2---write-the-instructions ; yal-opencode-guide#part-3---the-instructions-agentsmd ; yal-local-ai-guide#part-4---build-the-chatbot. Avec des jeunes : pas les bots trompeurs ; garder le jeu de test et les sections d'AGENTS.md.
🗣️ Say (EN) - If you are stuck, every command explains itself, for example `workshop help`. - In workshops 1 and 2 the chatbot has no slash commands: they answer "Unknown command". From workshop 3, `/context` shows what fills the window and `/status` shows the key in use; from workshop 4, `/mcp` shows the tools. - To leave a conversation in any mode, press Ctrl+C twice, and to read an open `.md` file as a page, press Ctrl+Shift+V (Cmd+Shift+V on a Mac); in the terminal, copy and paste are Ctrl+Shift+C / Ctrl+Shift+V (Cmd+C / Cmd+V on a Mac). - If something breaks, ask me: your files stay in the Codespace.
Repères de SETUP.md (copié dans chaque dépôt d'atelier). Vérifié à la répétition : en bare, A et B (--disable-slash-commands), /exit répond « Unknown command » ; Ctrl+C deux fois quitte dans tous les modes. /context, /mcp, /status : à partir de C.