Copilot Studio agents testen voor ze gezaghebbende antwoorden geven

Copilot Studio agents krijgen vanaf 26 oktober 2026 een eigen test- en productiestap, met connected agents, evaluaties en monitoring. Microsoft kondigde dit aan in Message Center-item MC1518233: wie nu al een AI-agent heeft die collega's gebruikt voor HR-vragen of merkinformatie, moet die vanaf nu apart kunnen testen voordat een wijziging bij echte gebruikers terechtkomt. Hieronder: wat er precies verandert, waarom dat nodig was (net als bij de chatbot van New York City ging dit eerder al mis bij een vergelijkbaar, eveneens Microsoft-aangedreven systeem), en hoe je dit vandaag al test in je eigen tenant.

Wat verandert er aan Copilot Studio agents vanaf 26 oktober 2026?

Microsoft voegt zes dingen tegelijk toe aan het bouwen van wat het zelf "Copilot Chat agents" noemt, ook bekend als declarative agents: Topics voor vaste gesprekstromen, connected agents om werk door te geven aan een andere agent, evaluaties om de kwaliteit te meten, monitoring om gebruik te volgen, een preview met een Activity Map om te zien wat een gebruiker ziet, en lifecycle management om een agent apart uit te rollen over een development-, test- en productieomgeving. Dat laatste is de kern van deze update: tot nu toe testte je grotendeels in hetzelfde kanaal waar collega's ook zaten.

Dit is geen compleet nieuwe functie uit het niets. De evaluatietool zelf werd al op 31 maart 2026 algemeen beschikbaar, meldt Microsofts eigen Copilot Studio-blog: je bouwt een testset van vragen, kiest een of meer testmethodes (algemene kwaliteit, betekenisovereenkomst, sleutelwoorden, exacte match, of een eigen regel via Custom Graders) en draait de evaluatie zonder code. Wat er op 26 oktober bijkomt, is dat die evaluatie nu formeel een plek krijgt in een scheiding tussen development, test en productie, specifiek voor agents die bedoeld zijn om gezaghebbende, standaardantwoorden te geven, zoals een reglement of een verlofbeleid. Precies dat soort agent is waar het eerder misging bij andere bedrijven, zie verderop.

De documentatie zelf noemt deze stap een logische vervolgstap op wat Microsoft al langer "een compleet volwassen platform" noemt voor het bouwen, testen en monitoren van agents. Voor Nederlandse teams betekent het vooral dit: je hebt nu geen excuus meer om een wijziging rechtstreeks in productie te testen, want de tool om het anders te doen staat er.

Welke testmethode je kiest, bepaalt wat je evaluatie eigenlijk vangt. "Algemene kwaliteit" laat een taalmodel beoordelen of een antwoord vloeiend en behulpzaam klinkt, en dat is precies waar een fout zoals in het voorbeeld hieronder doorheen glipt: het foute antwoord over de dienstjarenregel klonk net zo vloeiend als het goede. Voor een feitelijke claim met een vast getal, een datum of een drempel kies je daarom "exacte match" of een eigen regel via Custom Graders, die toetst of het specifieke getal in het antwoord staat, niet of de zin lekker loopt. Gebruik "algemene kwaliteit" dus alleen voor open, uitlegerige antwoorden zonder vast getal erin, en altijd een exacte of aangepaste controle zodra het antwoord een cijfer, een datum of een drempel bevat.

Connected agents: werk delegeren in Copilot Studio agents

Een connected agent is een tweede, gespecialiseerde agent die de hoofdagent erbij roept voor een deeltaak. Dat werkt omdat een enkele agent met te veel Topics tegen zijn eigen complexiteit aanloopt: elke nieuwe regel kan een oudere regel per ongeluk overschrijven, en dat zie je pas als iemand een combinatie van vragen stelt die je niet testte. Splits je op, dan test je elk onderdeel apart en blijft een wijziging in het verlofonderdeel buiten het bereik van het reiskostenonderdeel. Doe dit niet bij een kleine agent met minder dan een handvol Topics: de overhead van twee agents beheren en afstemmen is dan groter dan het probleem dat je oplost, en je verliest tijd aan afstemming zonder dat de testdekking merkbaar verbetert. Verwacht bij een grotere agent, met tien Topics of meer, dat delegeren het aantal regressies per wijziging verlaagt, omdat je dan een kleiner, specifieker stuk hertest in plaats van de hele agent; in ruil daarvoor verhoogt het wel het aantal plekken waar iets kan vastlopen tussen de twee agents in, dus reken op een extra testronde die specifiek de overdracht tussen beide agents controleert.

Een voorbeeld: de HR-agent die een verlofvraag net mis heeft

Fictief, geloofwaardig voorbeeld bij een administratiekantoor met een eigen HR-agent voor verlof- en reglementvragen. IT-beheerder Sanne zet voor de eerste evaluatieronde drie testvragen klaar, gebaseerd op het eigen (fictieve) personeelsreglement.

Twee van de drie antwoorden klinken even zeker, en dat is het probleem: zonder deze tabel had Sanne geen idee welke van de drie ze kon vertrouwen. Wat ze herstelt voor ze naar productie promoveert: ze herschrijft de Topic over dienstjaren zodat de drempel letterlijk "vanaf het vijfde volledige dienstjaar" wordt, en ze splitst de vervalregel in de kennisbron in twee losse zinnen, een voor wettelijke dagen en een voor bovenwettelijke dagen, in plaats van één zin die ze had samengevoegd. Daarna draait ze de evaluatie opnieuw op dezelfde drie vragen, in de testomgeving, voordat de wijziging naar productie gaat.

Wanneer promoveer je Copilot Studio agents van test naar productie?

De drempel is een rekensom, niet een gevoel. Tel het aantal vaste onderwerpen (Topics) dat je agent moet dekken. Vermenigvuldig dat met minstens vijf testvragen per onderwerp: dat getal vijf is onze eigen aanname, geen Microsoft-norm, gebaseerd op de snelle testset die Microsoft zelf standaard genereert (tien vragen, zie "Probeer dit vandaag" hieronder) verdeeld over de twee tot drie onderwerpen die een eerste agent meestal heeft. Vijf per onderwerp is dus een ondergrens die je zelf naar boven bijstelt zodra een onderwerp meer variatie kent, zoals dienstjaren of contractvorm. Heeft je HR-agent acht onderwerpen (verlof, ziekte, reiskosten, thuiswerken en vier andere), dan is veertig testvragen je ondergrens voor een eerste evaluatieronde. Onder die vijf vragen per onderwerp mist je testset precies de varianten, zoals een ander dienstjaar of een andere contractvorm, waar een taalmodel het vaakst op struikelt.

De grootste valkuil: testen in het kanaal dat collega's al gebruiken

De meeste makers testen tot nu toe in de chatpane: een paar handmatige vragen, in dezelfde omgeving waar de agent al live staat voor collega's. Dat werkt zolang je alleen kijkt, niet zodra je wijzigt. Een halve aanpassing aan een Topic staat dan meteen open voor iedereen die de agent op dat moment gebruikt, en een regressie die een evaluatieronde had gevangen bereikt gewoon de eindgebruiker. Microsofts eigen richtlijn voor Power Platform noemt een losse testomgeving daarom het minimum van een gezonde manier van werken: zonder die scheiding test je in feite alleen of de uitrol zelf werkt, niet of de wijziging klopt.

Dat dit geen theoretisch risico is, liet een vergelijkbaar, eveneens Microsoft-aangedreven systeem al eerder zien. New York City lanceerde in 2023 een bedrijfschatbot op Microsofts Azure AI-diensten. Onderzoeksredactie The Markup testte de bot in maart 2024 en vond dat hij structureel het verkeerde antwoord gaf: hij zei dat werkgevers fluitend fooien van personeel mogen afpakken, dat er geen regels zijn over het informeren van personeel bij roosterwijzigingen, en dat verhuurders geen huurders met een huursubsidievoucher hoeven te accepteren, terwijl dat in New York juist wettelijk verboden is. Tien verschillende testers van The Markup kregen op dezelfde vraag over huursubsidie ook nog eens allemaal een ander antwoord. Een Microsoft-vicepresident reageerde destijds op een vergelijkbaar probleem bij een ander eigen product met de kern van deze hele update: je moet een systeem echt met gebruikers testen om dit soort situaties te vinden, niet alleen intern.

Wat deze update niet oplost: aansprakelijkheid en wanneer een agent echt beslist

Een hogere pass-rate verandert niets aan wie verantwoordelijk is als het toch misgaat. De Canadese Civil Resolution Tribunal oordeelde in februari 2024 dat Air Canada 812 Canadese dollar moest terugbetalen aan een klant die zijn chatbot foutief had geadviseerd over een rouwkorting, meldt CBC News. Air Canada voerde aan dat de chatbot "a separate legal entity that is responsible for its own actions" was, en tribunaallid Christopher Rivers noemde dat zelf "a remarkable submission". Zijn oordeel: een chatbot is gewoon een deel van je eigen website, en je bent zelf verantwoordelijk voor wat erop staat, ook als het juiste antwoord toevallig elders op diezelfde website wel klopte. Diezelfde redenering geldt voor een Copilot Studio agent die namens je bedrijf een verlofregel uitlegt: een betere evaluatie verlaagt de kans op een fout, maar verandert niets aan wie ervoor opdraait als er toch een doorheen glipt.

Een tweede grens zit in de wet, niet in de techniek. De EU AI Act bestempelt AI die beslist over arbeidsvoorwaarden, ontslag, promotie of taaktoewijzing op basis van gedrag standaard als hoogrisico, onder Annex III, met Artikel 6 lid 2 als basis. Een agent die alleen een vraag beantwoordt zoals "hoeveel vakantiedagen heb ik" valt daar in de regel buiten: Artikel 6 lid 3 maakt een uitzondering voor een smalle, procedurele taak die alleen het resultaat van al genomen menselijk werk ondersteunt. Zodra je agent zelf gaat beslissen in plaats van uitleggen, bijvoorbeeld een verlofaanvraag zelf goedkeuren of afwijzen, verdwijnt die uitzondering. De Europese Commissie publiceerde op 19 mei 2026 conceptrichtlijnen om precies deze grens te verduidelijken, met een consultatieperiode tot 23 juni 2026. Check die grens dus opnieuw zodra je agent een stap verder gaat dan informeren.

Wat dit oplevert, en hoe je dat na zeven dagen meet

Uit onze trainingen: een eerste testset van twintig tot dertig vragen, verdeeld over vier tot zes Topics, kost een uur tot anderhalf uur om op te zetten, vooral omdat je zelf de juiste, lastige randgevallen moet verzinnen. Een kwart tot een derde van de eerste testronde faalt doorgaans, en dat is geen slecht teken: het is precies het werk dat je anders pas ontdekt via een klacht van een collega. Wat na een week monitoring beter wordt: je ziet welke vraagformulering steeds misgaat, en je kunt die in de kennisbron rechtzetten. Wat niet beter wordt: een agent leert niet vanzelf bij, elke correctie moet je zelf in een Topic of kennisbron verwerken.

Drie meetpunten, zonder extra tooling, zeven dagen na het instellen van monitoring:

• Hoeveel keer kreeg de agent een duim omlaag in Monitoring? Een stijging na een wijziging betekent dat die wijziging iets brak dat je testset niet ving.
• Hoeveel regressies ving de testomgeving voor je promoveerde? Nul is verdacht bij een testset van veertig of meer vragen, niet geruststellend: het betekent waarschijnlijk dat je testvragen te makkelijk waren.
• Hoe vaak verwees de agent door naar een mens in plaats van te verzinnen? Een daling kan twee dingen betekenen: de agent is beter geworden, of hij is zekerder gaan klinken zonder dat zijn kennis meegroeide. Controleer bij een daling altijd een steekproef van die antwoorden.

Probeer dit vandaag

Dit kost geen wachttijd. Open een bestaande of een net gebouwde Copilot Studio agent, ga naar het tabblad Evaluatie en kies de snelle testset: die genereert automatisch tien vragen op basis van de beschrijving en de Topics van je agent, zonder dat je zelf iets hoeft te typen. Draai de evaluatie en kijk naar de pass- en fail-kolom per vraag. Klik op een gefaalde regel: je ziet het volledige antwoord van de agent, de uitleg van de testmethode, en welke kennisbron hij gebruikte. Dat is precies de tabel uit het voorbeeld hierboven, alleen dan voor jouw eigen agent.

Doe dit deze week

1. Tel je Topics en bouw de testset op die rekensom

   Vermenigvuldig het aantal vaste onderwerpen van je agent met minstens vijf testvragen per onderwerp. Gebruik de snelle AI-testset uit "Probeer dit vandaag" als startpunt en vul hem aan met de randgevallen die jij als expert kent, zoals een net-niet-geldende drempel.

2. Draai de evaluatie in een losse testomgeving, niet in productie

   Richt, als je dat nog niet had, een apart Copilot Studio-environment in voor test. Promoveer pas naar productie als geen enkele testvraag met een feitelijke claim nog faalt, volgens de beslisregel hierboven.

3. Leg de grens vast: informeert je agent, of beslist hij?

   Eén zin in je eigen documentatie: wat de agent zelf mag afhandelen, en vanaf welk punt een connected agent of een mens het overneemt. Dat bepaalt ook of de EU AI Act-uitzondering voor jouw agent nog geldt.

Het agent-recept dat je hiermee controleert: elke wijziging aan een Topic of kennisbron loopt eerst door de evaluatietool in je testomgeving, met een vaste testset van minstens veertig vragen bij een agent met acht onderwerpen, voordat hij bij collega's terechtkomt. Wil je dit met je eigen Copilot Studio-agent en je eigen reglementen laten opzetten en testen, dat is werk voor de Agent Sprint. Heb je nog geen agent en wil je eerst weten waar je begint, lees dan hoe je een Copilot agent bouwt of plan een kort gesprek.

Bronnen

• Microsoft 365 Message Center, MC1518233: Enhanced support for Copilot Chat agents, gespiegeld vanuit het officiële Message Center. Zelf geopend. Bron voor de aankondiging, de zes capabilities en de GA-datum van 26 oktober 2026.
• Microsoft Copilot Studio Blog, Agent Evaluation in Microsoft Copilot Studio is now generally available. Officiële bron, zelf geopend. Bron voor de werking van testsets, testmethodes en de GA-datum van 31 maart 2026 voor de onderliggende evaluatietool.
• Microsoft Learn, Environment strategy for ALM. Officiële documentatie, zelf geopend. Bron voor het minimum van een gezonde ALM-praktijk: een losse testomgeving naast development en productie.
• Microsoft Learn, Run evaluations and view results. Officiële documentatie, zelf geopend. Bron voor de bewaartermijn van 89 dagen voor testresultaten in Copilot Studio.
• The Markup, NYC's AI Chatbot Tells Businesses to Break the Law, Colin Lecher, 29 maart 2024. Onafhankelijke, niet door Microsoft gefinancierde onderzoeksredactie, zelf geopend. Bron voor het voorbeeld van het Microsoft-aangedreven NYC MyCity-chatbotonderzoek en het citaat van de Microsoft-vicepresident.
• CBC News, Air Canada found liable for chatbot's bad advice on plane tickets, Jason Proctor, februari 2024. Onafhankelijke, publieke omroep, los van Microsoft en Air Canada, zelf geopend. Bron voor de uitspraak van de Civil Resolution Tribunal British Columbia in Moffatt v. Air Canada, inclusief de citaten van tribunaallid Christopher Rivers en het bedrag van 812 Canadese dollar.
• Taylor Wessing en McCann FitzGerald, analyses van de EU AI Act vanuit een arbeidsrechtelijk perspectief, en berichtgeving over de conceptrichtlijnen van de Europese Commissie van 19 mei 2026 over Artikel 6-classificatie. Via kruisverwijzing over meerdere onafhankelijke juridische bronnen. Bron voor de Annex III-classificatie van AI bij arbeidsbeslissingen en de smalle uitzondering in Artikel 6 lid 3.
• Rijksoverheid, Burgerlijk Wetboek Boek 7, artikel 638. Bron voor de regel over ziekte tijdens vakantie in het uitgewerkte voorbeeld.
• Project Impact, AI-agent, Copilot agent maken en Microsoft Agent 365. Eigen uitleg van de onderliggende begrippen en aanverwante onderwerpen die in deze post worden gebruikt.

Veelgestelde vragen

• Wat is een Copilot Chat agent in Microsoft Copilot Studio?

  Een Copilot Chat agent, ook wel declarative agent, is een agent in Microsoft Copilot Studio die gezaghebbende, standaardantwoorden geeft op vaste vragen, zoals HR-beleid of merkrichtlijnen. Hij gebruikt Topics voor deterministische gesprekstromen in plaats van alleen vrije tekstgeneratie, zodat het antwoord op een vaste vraag voorspelbaar blijft.

• Wat zijn connected agents in Copilot Studio?

  Connected agents zijn gespecialiseerde deelagents die een hoofdagent erbij roept voor een specifieke taak, zoals een apart verlofonderdeel binnen een bredere HR-agent. Dat werkt omdat een enkele agent met te veel onderwerpen tegen zijn eigen complexiteit aanloopt: elke nieuwe regel kan een oudere per ongeluk overschrijven. Met connected agents test en wijzig je elk onderdeel apart.

• Wanneer is agent lifecycle management in Copilot Studio beschikbaar?

  Agent lifecycle management, de scheiding tussen development-, test- en productieomgevingen voor een Copilot Studio agent, bereikt algemene beschikbaarheid op 26 oktober 2026, samen met Topics, connected agents, evaluaties, monitoring en een Activity Map-preview, meldt Microsoft in Message Center-item MC1518233.

• Hoe test je een Copilot Studio agent voordat hij live gaat?

  Bouw een testset met minstens vijf vragen per vast onderwerp dat je agent moet dekken, draai die in de Evaluatie-tool in een losse testomgeving, en promoveer pas naar productie als de pass-rate boven de 90 procent zit. Copilot Studio kan ook automatisch een eerste testset van tien vragen genereren op basis van de beschrijving van je agent.

• Moet ik mijn bestaande Copilot Studio agents aanpassen voor 26 oktober 2026?

  Nee, Microsoft noemt dit bericht informatief en vereist geen actie om het huidige gedrag te behouden. Een bestaande agent blijft werken zoals hij nu werkt. De nieuwe test- en productiestap is een extra mogelijkheid voor de volgende wijziging, niet een verplichte migratie van wat er al staat.