Governance over de AI-levenscyclus
De governance-keten borgt één principe; de AI-levenscyclus is de andere as van het model, tijd. Een systeem wordt bestuurd over een leven van de eerste intake-beslissing tot de dag dat het wordt uitgezet, in zes fasen: plan en ontwerp, data en ontwikkeling, verifieer en valideer, uitrol, gebruik en monitoring, en uitfasering. Elke fase heeft controls die er eigen aan zijn en levert een anker-artefact op, en de twee assen ontmoeten elkaar bij bewijs. De fase die het vaakst faalt is gebruik en monitoring.
De governance-ketengovernance-ketenDe herleidbare lijn waarlangs een enkele pijler voor een enkel systeem wordt geborgd: principe, dan de schade die het zou schenden, dan het risico van die schade, dan de control die het risico vermindert (preventief, detectief of correctief), dan het restrisico geoordeeld tegen de risicobereidheid, bewezen met bewijs. De keten maakt verantwoorde AI verantwoordbaar in plaats van aspiratief, en stelt een organisatie in staat een principe van een beleidsuitspraak naar een werkende control te brengen die ze kan aanwijzen. Zie principe, schade, risico, control, restrisico, bewijs.Open full entry → in het fundamentartikel loopt in één richting: een principeprincipeEen van de zeven waarden van verantwoorde AI waaraan een bestuurd systeem zou moeten voldoen (eerlijkheid, veiligheid en betrouwbaarheid, privacy, beveiliging en robuustheid, transparantie en uitlegbaarheid, verantwoording, menselijk toezicht). Een principe is abstract: het benoemt een uitkomst, geen knop die je kunt omzetten. Het wordt bestuurbaar door de schade te benoemen die het zou schenden, het risico van die schade in te schatten, en controls tegen dat risico te plaatsen. Wanneer GovCompass een principe zo borgt, noemt het dat een pijler. Zie pijler, schade, risico.Open full entry →, de schadeschadeDe concrete schade die een AI-systeem kan aanrichten en die een principe van verantwoorde AI beoogt te voorkomen: in de termen van de EU AI Act schade aan iemands gezondheid, veiligheid of grondrechten. Schade is de brug tussen een abstract principe en een bestuurbaar risico; governance wordt operationeel op het moment dat een organisatie de specifieke schades benoemt die ze wil voorkomen. Voor eerlijkheid is een schade dat een groep stelselmatig slechtere uitkomsten krijgt vanwege een kenmerk dat niet had mogen meetellen. Zie principe, risico.Open full entry → die het zou schenden, het risicorisicoIn de termen van de EU AI Act de combinatie van de waarschijnlijkheid dat een schade optreedt en de ernst ervan als dat gebeurt. De schakel tussen een principe (via de schade die het zou schenden) en een control (de maatregel die het vermindert). Het benoemen van de schade en het inschatten van het risico is op grond van Art. 9 vereist voordat een maatregel wordt gekozen. Zie schade, control, restrisico.Open full entry → dat die schade draagt, de controlcontrolDe concrete, toetsbare maatregel die een specifiek risico vermindert en daarmee het achterliggende principe beschermt. Ook wel risicobeheersmaatregel, risicorespons of risicobehandeling genoemd. Altijd herleidbaar tot het risico dat het adresseert: onder EU AI Act Art. 9 moet elke control terug te voeren zijn op een specifiek risico, en controls die los van hun risico's worden vastgelegd vormen een erkende compliance-fout. Het werkt in een van drie typen: preventief, detectief of correctief. Zie risico, control-typen, bewijs.Open full entry → die het risico vermindert, het bewijsbewijsHet concrete bewijs dat een control is ontworpen, geïmplementeerd en werkt: een testrapport, een audit trail, een impactassessment, een monitoringlog. Elke schakel in de governance-keten levert een artefact op, en samen zijn ze wat een organisatie overhandigt aan haar eigen bestuur, een toezichthouder, een klant of een betrokkene om te tonen, niet te zeggen, dat een systeem bestuurd is. De afwezigheid ervan is zelf het falen: een risicoregister zonder testresultaten, of een maatregel die wordt geclaimd zonder validatie, is een governance-gat, geen papierwerk-gat. De sluitende schakel van de governance-keten. Zie control, governance.Open full entry → dat de control werkt. Dat is de verticale as van het model, hoe een enkel principe wordt geborgd.
Dit artikel gaat over de andere as, de horizontale: tijd. Een AI-systeemAI-systeemEen machinaal systeem dat voor expliciete of impliciete doelen uit invoer afleidt hoe het uitvoer genereert, voorspellingen, inhoud, aanbevelingen of beslissingen, die fysieke of virtuele omgevingen kunnen beïnvloeden. De OESO-achtige definitie die de EU AI Act volgt. Zie algoritme, machine learning.Open full entry → wordt niet op één moment bestuurd. Het wordt bestuurd over een leven dat loopt van de eerste intake-beslissing tot de dag dat het wordt uitgezet, en elke fase van dat leven heeft haar eigen werk te doen. De twee assen ontmoeten elkaar op elk punt: in elke fase van de levenscycluslevenscyclusDe spanne van een enkel AI-systeem van eerste intake tot uitfasering, waarover het bestuurd moet worden. De horizontale as van governance: waar de governance-keten één principe borgt, voert de levenscyclus één systeem door de tijd. Doorgaans getekend als zes fasen, plan en ontwerp, data en ontwikkeling, verifieer en valideer, uitrol, gebruik en monitoring, en uitfasering, elk met controls die er eigen aan zijn en een anker-artefact. Een lus in plaats van een lijn, want een systeem in productie voert nieuw risico terug naar een verse beoordeling. Zie artefact, control, governance-keten.Open full entry → doorloop je de keten, met de vraag welke risico's nu spelen en welke controls hier thuishoren. Waar ze elkaar ontmoeten, leveren de controls de artefacten op die een auditor later wil zien.
Een lus, geen lijn
Het is verleidelijk om de levenscyclus te tekenen als een rechte lijn van idee tot uitfasering. Het werkende beeld is een lus. Een systeem in productie werpt nieuwe data op, nieuwe faalvormen en nieuwe regelgeving, en dat voedt terug in een verse ronde van beoordeling, soms een herontwerp, soms een hertraining. De frameworks zijn het eens over deze vorm, ook waar ze de fasen anders benoemen: het NIST AI Risk Management Framework loopt van concept en ontwerp via data, ontwikkeling en testen naar uitrol, monitoring en uitfasering, en behandelt governancegovernanceHet stelsel waarmee een organisatie zichzelf bestuurt: corporate governance, risicobeheer, compliance, verantwoordingslijnen, risicobereidheid en het besturingsmodel. Het bestaat over alles wat de organisatie doet, voor en los van AI. AI governance is ditzelfde stelsel, uitgebreid voor AI. Zie AI governance, governance design, executie.Open full entry → als iets dat het geheel overspant in plaats van vooraan te zitten.
Zes fasen geven genoeg resolutie om bruikbaar te zijn zonder een afvinklijst te worden. Elk heeft controls die er eigen aan zijn, het werk dat in die fase thuishoort en nergens anders, en elk levert een anker-artefactartefactHet concrete record dat bewijst dat een control is uitgevoerd: een testrapport, een impactassessment, een monitoringlog, een release-sign-off. Een artefact is de tastbare vorm die bewijs aanneemt, het ding waar een auditor naar grijpt om te bevestigen dat een control niet alleen is ontworpen maar ook echt heeft gewerkt. Elke fase van de AI-levenscyclus levert haar eigen anker-artefact op. Onderscheiden van bewijs als geheel: bewijs is het bewijsmateriaal, een artefact is er één stuk van. Zie bewijs, levenscyclus.Open full entry → op, het ene document of record waar een auditor het eerst naar grijpt.
De zes fasen
1. Plan en ontwerp. Het systeem wordt afgebakend voordat het wordt gebouwd: intake, risico-indeling, een impactassessmentimpactassessmentEen gestructureerde evaluatie, uitgevoerd in de fase plan en ontwerp, van de schades die een AI-systeem zou kunnen veroorzaken en het risico dat die schades dragen, voordat het systeem wordt gebouwd. De eerste plek waar de governance-keten wordt doorlopen, en het goedkoopste punt in de levenscyclus om risico te verminderen. Het anker-artefact van de ontwerpfase; onder de EU AI Act is een grondrechten-impactassessment vereist voor bepaalde hoog-risico-gebruiksverantwoordelijken. Zie schade, risico, levenscyclus.Open full entry →, een ethische toets, en een go- of no-go-poort. Hier zit de goedkoopste risicovermindering van de hele levenscyclus, want een risico dat hier wordt opgemerkt kost een gesprek, terwijl hetzelfde risico in productie een terugroepactie kost. Het anker-artefact is het impact- en risicoassessment, met de notulen van de ethische toets en het besluitenlogboekbesluitenlogboekDe vastgelegde uitkomsten en redenering van governance-beslissingen (goedkeuringen van commissies, risicoaanvaardingen), wat precedent, consistentie en controleerbaarheid opbouwt. Zie bewijs, risicobereidheid.Open full entry → van de go/no-go ernaast.
2. Data en ontwikkeling. Het model wordt gebouwd. De controls die eigen zijn aan deze fase besturen de data en het bouwen: beleid voor data-acquisitie en -gebruik dat rechten, kwaliteit en herkomstherkomstDe gedocumenteerde oorsprong en geschiedenis van data of inhoud, gebruikt om vast te stellen waar ze vandaan komt en of ze betrouwbaar of rechtmatig te gebruiken is. Zie trainingsdata, datasheet.Open full entry → dekt; bias-testen; documentatie die wordt geproduceerd terwijl je bouwt in plaats van achteraf gereconstrueerd; en veilige ontwikkelpraktijk. Het anker-artefact is een datasheetdatasheetEen document dat de herkomst van een dataset vastlegt: de bronnen, de rechten waaronder ze wordt gebruikt, de samenstelling en de bekende beperkingen. Het anker-artefact van de fase data en ontwikkeling, het maakt de data achter een model herleidbaar en is een voorwaarde voor het beoordelen van risico's zoals bias. Zie artefact, levenscyclus.Open full entry → per dataset, die bronnen, rechten en beperkingen vastlegt, met de herkomstrecords en de ontwikkeldocumentatie.
3. Verifieer en valideer. Het model wordt getoetst aan de lat die in fase één is gezet. De eigen controls zijn gedefinieerde acceptatiedrempels, onafhankelijke review, en een release gaterelease gateEen beslispunt in de fase verifieer en valideer waar een systeem wordt getoetst aan gedefinieerde acceptatiedrempels en wordt afgetekend voordat het live kan gaan, door iemand met de bevoegdheid om te weigeren. Een preventieve control: een release gate die niemand kan weigeren is geen gate. Het anker-artefact ervan is de release-sign-off, die vastlegt wie de uitrol goedkeurde en op welke grond. Zie control, control-typen, levenscyclus.Open full entry → die wordt afgetekend door iemand met de bevoegdheid om nee te zeggen. De handtekening doet ertoe: een release gate die niemand kan weigeren is geen gate. Het anker-artefact is het test- en validatierapport, met de release-sign-off.
4. Uitrol. Het systeem gaat live. De eigen controls zijn een uitrolchecklist, gebruikerstraining, terugval- en terugrolplannen, en kennisgevingen aan de mensen die het systeem raakt. Het anker-artefact is de model cardmodel cardEen gestructureerd document dat een AI-model beschrijft: het doel, de trainingsdata, de prestatie onder verschillende omstandigheden, de beperkingen en het beoogde gebruik. Een kern-artefact van de uitrolfase, het stelt de mensen die een systeem bedienen en overzien in staat te begrijpen wat het doet en waar het niet vertrouwd mag worden. Onderdeel van de technische documentatie die een auditor verwacht voor een hoog-risicosysteem. Zie artefact, levenscyclus.Open full entry → of systeemdocumentatie, met de gebruiksinstructies, de trainingsrecords en het uitrolplan.
5. Gebruik en monitoring. Het systeem draait, en dit is de fase die het meest uitmaakt en het slechtst wordt bediend. De eigen controls zijn doorlopende monitoringdoorlopende monitoringHet voortdurend observeren van de prestatie, drift, eerlijkheid en het gebruik van een uitgerold systeem tegen drempels met benoemde eigenaren, de control die past bij de snelheid en schaal van AI. Zie control, model drift.Open full entry → met alertdrempels en benoemde eigenaren, periodieke herbeoordeling, incidentbeheer en wijzigingsbeheerwijzigingsbeheerDe beheerste afhandeling van updates aan modellen, data en configuraties: elke wezenlijke wijziging doorloopt opnieuw validatie voordat ze opnieuw wordt uitgerold. Zie control, doorlopende monitoring.Open full entry →. Het anker-artefact is het geheel van monitoringrapporten en logs, met incidentrecords die de genomen corrigerende actie tonen, en het wijzigingslogboek.
6. Uitfasering. Het systeem wordt uitgezet, wat zelf een bestuurde handeling is. De eigen controls zijn een uitzetplan, communicatie naar belanghebbenden, het afstoten van de data en het model, en het bewaren van records. Het anker-artefact is het ontmantelingsrecord, met het afstotingsbewijs en het bewaarde archief.
| Fase | Eigen controls | Anker-artefact |
|---|---|---|
| 1. Plan en ontwerp | Intake, risico-indeling, impactassessment, ethische toets, go/no-go-poort | Impact- en risicoassessment (met notulen ethische toets, go/no-go-logboek) |
| 2. Data en ontwikkeling | Beleid data-acquisitie en -gebruik, bias-testen, documentatie tijdens het bouwen, veilige ontwikkeling | Datasheet per dataset (met herkomstrecords, ontwikkeldocumentatie) |
| 3. Verifieer en valideer | Acceptatiedrempels, onafhankelijke review, afgetekende release gate | Test- en validatierapport (met release-sign-off) |
| 4. Uitrol | Uitrolchecklist, gebruikerstraining, terugval en terugrol, kennisgevingen aan betrokkenenbetrokkenenDe individuen of groepen die onderworpen zijn aan of geraakt worden door de uitkomsten of beslissingen van een AI-systeem, en wier rechten het governance-regime beoogt te beschermen. Zie schade, belanghebbendenanalyse.Open full entry → | Model card of systeemdocumentatie (met gebruiksinstructies, trainingsrecords, uitrolplan) |
| 5. Gebruik en monitoring | Doorlopende monitoring met drempels en eigenaren, periodieke herbeoordeling, incident- en wijzigingsbeheer | Monitoringrapporten en logs (met incidentrecords, wijzigingslogboek) |
| 6. Uitfasering | Uitzetplan, communicatie naar belanghebbenden, afstoten van data en model, records bewaren | Ontmantelingsrecord (met afstotingsbewijs, bewaard archief) |
Waar governance over de levenscyclus echt faalt
De eerste vier fasen krijgen de aandacht, want het zijn de fasen waar het systeem wordt gebouwd en waar de lanceerdruk zich concentreert. De fase die faalt is de vijfde. Twee onafhankelijke onderzoeksinspanningen, een overheidsgefinancierde en een uit de industrie, hebben los van elkaar vastgesteld dat productiemonitoring en het valideren van het gedrag van een systeem zodra het live is de meest onderbediende controls van het hele veld zijn: de tooling en de praktijk hebben niet ingehaald wat de frameworks al vereisen. Het lastige probleem is niet een systeem bouwen dat werkt op de lanceerdag. Het is bewijzen dat het zes maanden later nog steeds werkt.
Dit is de levenscyclus-uitdrukking van het falen dat het fundamentartikel benoemt: een governance-inrichting die sterk is op papier en hol in de praktijk. Een organisatie doorloopt de intake-poort, test het model, tekent de release af, en laat dan de monitoring verslappen, en het systeem drijft onbewaakt af. Elke control in de fasen één tot en met vier kan op zijn plaats zijn en het systeem kan toch falen, want governance is geen poort die je eenmaal passeert maar een lus die je blijft draaien. De fase gebruik en monitoring is waar de lus het vaakst open wordt gelaten.
Hoe dit met de keten verbindt
De twee assen zijn één model gezien vanuit twee richtingen, en de verbinding ertussen is bewijs.
Doorloop de keten binnen een willekeurige fase en ze levert het anker-artefact van die fase op. In plan en ontwerp zijn het uitwerken van de schades die een systeem zou kunnen veroorzaken en het indelen van het risico de eerste schakels van de keten, en het impactassessment is het bewijs dat ze zijn gedaan. In verifieer en valideer is het toetsen van een control aan een gedefinieerde drempel de control-en-bewijs-stap van de keten, en het validatierapport is het bewijs. In gebruik en monitoring is het waken voor een risico dat preventie niet heeft weggenomen een detectieve control, en het monitoringlog is het bewijs ervan.
De levenscyclus beantwoordt dus een vraag die de keten op zichzelf niet beantwoordt: wanneer. De keten zegt dat elke control aan een risico moet worden gekoppeld en met bewijs moet worden aangetoond. De levenscyclus zegt hier is wanneer in het leven van een systeem elke control wordt toegepast en elk stuk bewijs wordt geproduceerd. Samen gelezen geven ze het hele beeld: wat een principe op zijn plaats houdt, en over welke spanne van tijd het werk wordt gedaan en het bewijs zich opbouwt.