Een agent documenteren is niet hetzelfde als hem besturen
De meeste organisaties kunnen hun AI-agents tot in detail beschrijven: de architectuur, de tools, het geheugen, het basismodel, de benchmarks, de interne veiligheidstests. Wat veel minder organisaties kunnen, is besturen wat die agents beslissen zodra ze draaien. Documentatie beantwoordt de vraag "wat is deze agent en wat kan het?" Governance beantwoordt een moeilijkere: "kunnen we de beslissingen die het neemt over de tijd vertrouwen?" De twee worden routinematig verward, en een agent die grondig is gedocumenteerd maar onbestuurd is, is precies het soort systeem dat elke beoordeling doorstaat en vervolgens in productie faalt.
Dit is onderdeel van ons werk over agentic AI, de voorwaarde die verandert hoe alle zeven pijlerspijlerEen principe van verantwoorde AI als iets dat een organisatie actief borgt in plaats van louter onderschrijft: een van de zeven pijlers van verantwoorde AI, één per principe. Een pijler wordt geborgd, niet geïmplementeerd, door de schades te benoemen die het principe zouden schenden, hun risico in te schatten, en controls te plaatsen die het verminderen. Onderscheiden van agentic AI, die geen van de zeven is maar een conditie die verandert hoe ze alle zeven worden bestuurd. Zie principe, schade, risico, agentic AI.Open full entry → van verantwoorde AIverantwoorde AIHet geheel van principes waaraan een AI-systeem zou moeten voldoen: eerlijkheid, veiligheid en betrouwbaarheid, privacy, beveiliging en robuustheid, transparantie en uitlegbaarheid, verantwoording, en menselijk toezicht. Breed gedeeld en liggend onder de EU AI Act en de grote frameworks. Op zichzelf zijn de principes intentieverklaringen; de wet maakt er plichten van die alleen waargemaakt kunnen worden als ze in de governance van de organisatie zijn verankerd. Zo landt verantwoorde AI in governance in plaats van ernaast. De zeven principes worden geordend in een control-raamwerk van zeven pijlers, met één pijler per principe. Zie principe, pijler, governance.Open full entry → worden bestuurd.
De comfortabele helft van het probleem
Er is veel informatie beschikbaar over wat AI-agentsAI-agentEen systeem dat zijn omgeving waarneemt, beslist en handelingen verricht richting een doel, tools aanroept, plannen uitvoert. Autonomie van handelen vereist allowlists, goedkeuringspoorten, sandboxing, logging en een kill switch. Zie agentic AI, kill switch.Open full entry → zijn. AanbiedersaanbiederDe actor die een AI-systeem ontwikkelt (of laat ontwikkelen) en het onder eigen naam op de markt brengt of in gebruik neemt, met fabrikantachtige plichten: ontwerpcontrols, documentatie, conformiteit. Zie gebruiksverantwoordelijke, AI-verplichtingen.Open full entry → beschrijven hun planning- en redeneervermogen, hun geheugen, hun tool-integraties, en hun basismodellen. Teams produceren model cardsmodel cardEen gestructureerd document dat een AI-model beschrijft: het doel, de trainingsdata, de prestatie onder verschillende omstandigheden, de beperkingen en het beoogde gebruik. Een kern-artefact van de uitrolfase, het stelt de mensen die een systeem bedienen en overzien in staat te begrijpen wat het doet en waar het niet vertrouwd mag worden. Onderdeel van de technische documentatie die een auditor verwacht voor een hoog-risicosysteem. Zie artefact, levenscyclus.Open full entry →, benchmarkresultaten, en rapporten van interne veiligheidstests en red teamingred teamingTegenwerkend testen dat een AI-systeem bewust aftast op fouten, schadelijke uitkomsten of beveiligingszwaktes, vóór en na uitgave. Zie beveiliging en robuustheid, jailbreak.Open full entry →. De inzet wordt gedocumenteerd: de interfaces, de API's, de hosting, de toegangscontroles.
Dit is de comfortabele helft van het probleem, en organisaties doen het goed omdat de informatie overvloedig is en de vragen statisch zijn. Waar is de agent op gebouwd? Wat kan het? Hoe is het ingezet? Deze zijn op een bepaald moment te beantwoorden, en eenmaal beantwoord blijven ze meestal beantwoord tot de volgende versie. Documentatie van dit soort is noodzakelijk. De EU AI ActEU AI ActVerordening (EU) 2024/1689, in het Nederlands de AI-verordening, de Europese wet over artificiële intelligentie. Ze hanteert een risicogebaseerde aanpak: verboden praktijken, eisen voor hoogrisico-AI-systemen, transparantieverplichtingen voor specifieke toepassingen en een apart regime voor AI-modellen voor algemene doeleinden (general-purpose AI). Verplichtingen zijn verdeeld tussen aanbieders en gebruiksverantwoordelijken. Zie hoogrisico-AI-systeem, general-purpose AI, conformiteitsbeoordeling.Open full entry → vereist veel ervan: technische documentatietechnische documentatieRegistraties die een aanbieder voor een hoog-risico-AI-systeem moet samenstellen en bewaren om conformiteit aan te tonen, met dekking van het ontwerp, de data, het testen, het risicobeheer en de monitoring. Zie aanbieder, bewijs, model card.Open full entry → onder Artikel 11, registratie onder Artikel 12. Een organisatie die haar agents niet kan beschrijven heeft een fundamenteler probleem dan governancegovernanceHet stelsel waarmee een organisatie zichzelf bestuurt: corporate governance, risicobeheer, compliance, verantwoordingslijnen, risicobereidheid en het besturingsmodel. Het bestaat over alles wat de organisatie doet, voor en los van AI. AI governance is ditzelfde stelsel, uitgebreid voor AI. Zie AI governance, governance design, execution level.Open full entry →.
Maar een agent beschrijven is niet hetzelfde als hem besturen, en het gat tussen de twee is waar het meeste agentic risicorisicoIn de termen van de EU AI Act de combinatie van de waarschijnlijkheid dat een schade optreedt en de ernst ervan als dat gebeurt. De schakel tussen een principe (via de schade die het zou schenden) en een control (de maatregel die het vermindert). Het benoemen van de schade en het inschatten van het risico is op grond van Art. 9 vereist voordat een maatregel wordt gekozen. Zie schade, control, restrisico.Open full entry → zit.
De moeilijkere helft
Governance beantwoordt een andere vraag, en het is geen vraag op een bepaald moment. Het vraagt of de beslissingen die de agent neemt vertrouwd kunnen worden naarmate ze zich opstapelen, veranderen en samengestelde effecten krijgen over de operationele levensduur van de agent. Dit is de helft die documentatie niet bereikt, en het heeft drie delen.
Decision governance. Een agent heeft niet alleen capaciteiten; het oefent beslissingsbevoegdheidbeslissingsbevoegdheidEen dimensie van de autonomie van een agent: hoe ingrijpend de beslissingen zijn die hij mag nemen, van aanbevelen aan een mens tot beslissen en handelen zonder beoordeling. Zie autonomieniveau, verantwoordingsreikwijdte.Open full entry → uit. De governance-vragen gaan over die bevoegdheid, niet over de capaciteit. Hoeveel beslissingsbevoegdheid heeft deze agent, en wie heeft die gedelegeerd? Wanneer moet zijn doel opnieuw worden gevalideerd, want het doel dat het zes maanden geleden kreeg is misschien niet langer het doel dat de organisatie wil dat het nastreeft? Zijn de beleidsregels waaronder het opereert uitgedrukt in een vorm die de agent daadwerkelijk volgt tijdens runtime, in plaats van geschreven in een document dat geen draaiend systeem leest? Documentatie beschrijft wat de agent kan beslissen. Decision governance beperkt wat het mag beslissen en houdt die beperking actueel.
Runtime governance. Een model card beschrijft de agent zoals het was op het moment van testen. Maar een agent in productie driftdriftHet geleidelijk afwijken van het gedrag of de prestaties van een AI-systeem van zijn gevalideerde staat na ingebruikname, zonder codewijziging of fout. Drift is van nature stil: er breekt niets, de nauwkeurigheid neemt gewoon af totdat iemand meet. De oorzaken zijn het onderscheiden waard: een verschuiving in de binnenkomende zakenmix, een wijziging in het bronmateriaal, een wijziging in omliggende systemen, of een update van het onderliggende model door de aanbieder. Zie model drift, agent drift.Open full entry →: zijn inputs veranderen, zijn geheugen stapelt zich op, zijn gedrag verschuift. Governance moet opereren tijdens runtime, niet alleen tijdens design. Dynamisch risicomanagement past zich aan naarmate het gedrag en de context van de agent veranderen. Runtime assurance en drift-detectie leggen het moment bloot dat de agent zich buiten zijn verwachte bandbreedte begint te gedragen. State- en memory-governance voorkomt dat de opgebouwde context van de agent stil zijn toekomstige beslissingen corrumpeert. Niets hiervan verschijnt in documentatie, omdat documentatie statisch is en het risico dynamisch.
AccountabilityaccountabilityHet principe dat een benoemde persoon verantwoordelijkheid draagt voor wat een AI-systeem doet. Het faalt structureel en niet door nalatigheid: de aanbieder bouwde het model, de gebruiksverantwoordelijke draait het, en beide gaan ervan uit dat de ander de plicht draagt, totdat er iets misgaat en "het systeem deed het" de feitelijke positie van de organisatie blijkt te zijn. De EU AI Act hangt verplichtingen aan de rol en niet aan de technologie, met plichten voor de aanbieder in artikel 16 en voor de gebruiksverantwoordelijke in artikel 26, ondersteund door technische documentatie (artikel 11) en record-keeping (artikel 12). Zie aanbieder, gebruiksverantwoordelijke, record-keeping, verantwoorde AI.Open full entry → en vertrouwen. Documentatie kan aantonen dat een agent is getest. Het kan, op zichzelf, niet vaststellen dat een specifieke beslissing die de agent in productie nam uitgelegd kan worden, dat een identificeerbare persoon ervoor aanspreekbaar is, dat het vertrouwen van de organisatie op de agent is afgestemd op zijn werkelijke betrouwbaarheid, en dat de agent over zijn hele levenscycluslevenscyclusDe spanne van een enkel AI-systeem van eerste intake tot uitfasering, waarover het bestuurd moet worden. De horizontale as van governance: waar de governance-keten één principe borgt, voert de levenscyclus één systeem door de tijd. Doorgaans getekend als zes fasen, plan en ontwerp, data en ontwikkeling, verifieer en valideer, uitrol, gebruik en monitoring, en uitfasering, elk met controls die er eigen aan zijn en een anker-artefact. Een lus in plaats van een lijn, want een systeem in productie voert nieuw risico terug naar een verse beoordeling. Zie artefact, control, governance-keten.Open full entry → van ontwerp tot uitfasering wordt bestuurd. Dit zijn de vertrouwensvragen, en ze worden beantwoord door governance die continu opereert, niet door een eenmalig geproduceerd document.
De governance shift
De overgang van het documenteren van modellen naar het besturen van autonome beslissingen is een verschuiving langs meerdere assen tegelijk, en het benoemen ervan maakt het gat concreet.
Traditionele AI governance bestuurt modellen; agent governance bestuurt de autonome beslissingen die die modellen aandrijven. Traditionele governance leunt op statische controlscontrolDe concrete, toetsbare maatregel die een specifiek risico vermindert en daarmee het achterliggende principe beschermt. Ook wel risicobeheersmaatregel, risicorespons of risicobehandeling genoemd. Altijd herleidbaar tot het risico dat het adresseert: onder EU AI Act Art. 9 moet elke control terug te voeren zijn op een specifiek risico, en controls die los van hun risico's worden vastgelegd vormen een erkende compliance-fout. Het werkt in een van drie typen: preventief, detectief of correctief. Zie risico, control-typen, bewijs.Open full entry → die bij inzet zijn ingesteld; agent governance heeft dynamische controls nodig die zich tijdens runtime aanpassen. Traditionele governance produceert assurance op een bepaald moment, een momentopname die waar was toen de beoordeling werd gedaan; agent governance heeft continue assurance nodig, omdat datgene wat wordt geborgd blijft veranderen. Traditionele governance gaat uit van menselijke uitvoering, een persoon die handelt op de output van het model; agent governance moet rekening houden met autonome uitvoering, waar de agent handelt zonder die menselijke stap. Traditionele governance produceert compliance-documentatie; agent governance moet regulatoir bewijsbewijsHet concrete bewijs dat een control is ontworpen, geïmplementeerd en werkt: een testrapport, een audit trail, een impactassessment, een monitoringlog. Elke schakel in de governance-keten levert een artefact op, en samen zijn ze wat een organisatie overhandigt aan haar eigen bestuur, een toezichthouder, een klant of een betrokkene om te tonen, niet te zeggen, dat een systeem bestuurd is. De afwezigheid ervan is zelf het falen: een risicoregister zonder testresultaten, of een maatregel die wordt geclaimd zonder validatie, is een governance-gat, geen papierwerk-gat. De sluitende schakel van de governance-keten. Zie control, governance.Open full entry → produceren, dat is documentatie die aantoont dat de controls daadwerkelijk werkten, niet slechts dat ze waren ontworpen. En traditionele governance levert model oversight; agent governance vereist decision oversight, toezicht op de keuzes die de agent maakt in plaats van op het model dat ze maakt.
Elk hiervan is een overgang van iets statisch en beschrijfbaars naar iets dynamisch en bestuurd. Een organisatie die de linkerkolom heeft gedaan en gelooft dat ze de rechterkolom heeft gedaan, heeft precies het gat waar dit artikel over gaat.
Waarom de verwarring gevaarlijk is
Het gevaar is dat documentatie de schijn van governance wekt. Een agent met een grondige model card, schone benchmarks, en een gedocumenteerde inzet oogt bestuurd. Het heeft de beoordelingen doorstaan die vragen "wat is deze agent en wat kan het?" Maar die beoordelingen vragen niet of de beslissingen die het volgende maand neemt, op inputs die het nog niet heeft gezien, nadat zijn geheugen zich heeft opgebouwd, vertrouwd kunnen worden. De agent die in productie faalt is vaak degene die het best gedocumenteerd was, omdat de documentatie iedereen het vertrouwen gaf om zijn autonomie te verbreden zonder de runtime-governance te bouwen die bredere autonomie vereist.
Dit is hetzelfde patroon dat overal in verantwoorde AI verschijnt: een control die eenmalig is ontworpen en nooit is bediend, een pijler die compliant oogt op papier en stil faalt in productie. Bij agents is het patroon scherper, omdat het gat tussen wat de documentatie beschrijft en wat de agent doet elke dag dat de agent draait groter wordt.
Wat eraan te doen
De praktische respons is om documentatie en governance als twee aparte deliverables te behandelen en beide te vereisen. Documentatie beantwoordt wat de agent is; vereis het, omdat de EU AI Act dat doet en omdat je niet kunt besturen wat je niet kunt beschrijven. Maar laat een complete set documentatie niet doorgaan voor governance.
Stel voor elke agent, naast de documentatie, de drie governance-capaciteiten vast die documentatie niet levert. Decision governance: wie de beslissingsbevoegdheid van de agent houdt, wanneer zijn doelen opnieuw worden gevalideerd, en hoe zijn beleidsregels tijdens runtime worden gehandhaafd. Runtime governance: dynamisch risicomanagement, drift-detectie, en memory-governance die opereren terwijl de agent draait. Accountability: uitlegbaarheiduitlegbaarheidHet vermogen om een betekenisvolle reden te geven voor een specifieke uitkomst van een AI-systeem aan de mensen die het raakt, te onderscheiden van transparantie, die de openbaarmaking is dát en hoe AI wordt gebruikt. Zie transparantie, principe.Open full entry → op beslissingsniveau, een benoemde aanspreekbare eigenaar, afgestemd vertrouwen, en lifecycle-governance van ontwerp tot uitfasering.
Deze mappen op de pijlers van verantwoorde AI die autonomie het sterkst onder druk zet: verantwoordelijkheid, en transparantietransparantieOpenheid over het feit dát AI wordt gebruikt en hoe het in het algemeen werkt: openbaarmakingen, documentatie, kennisgevingen. Vormt een paar met uitlegbaarheid, die over individuele uitkomsten gaat. Zie uitlegbaarheid, principe.Open full entry → en uitlegbaarheid, met agentic AIagentic AISystemen waarin een model handelingen verricht, tools aanroept, plannen in meerdere stappen uitvoert, wat zowel de capaciteit als elke faalvorm versterkt; bestuurd met action-allowlists, goedkeuringen en volledige logging. Zie AI-agent, agentic governance.Open full entry → als de voorwaarde die verandert hoe beide worden bestuurd. De toets of je een agent hebt bestuurd, in plaats van hem slechts te hebben gedocumenteerd, is eenvoudig. Documentatie laat je beantwoorden wat de agent is en kan. Governance laat je beantwoorden of je de beslissingen die het op dit moment neemt kunt vertrouwen, en of je het zou weten als dat niet zo was.