AI governance en enterprise risk management: waar ze samenkomen

Twee vragen die door elkaar lopen

Voordat de twee disciplines verbonden kunnen worden, moet één verwarring worden opgeruimd. Organisaties vermengen routinematig twee verschillende gebruiken van het woord AI in hun risicogesprekken.

Het eerste is AI als een te beheersen risicorisicoIn de termen van de EU AI Act de combinatie van de waarschijnlijkheid dat een schade optreedt en de ernst ervan als dat gebeurt. De schakel tussen een principe (via de schade die het zou schenden) en een control (de maatregel die het vermindert). Het benoemen van de schade en het inschatten van het risico is op grond van Art. 9 vereist voordat een maatregel wordt gekozen. Zie schade, control, restrisico.Open full entry →. Een AI-systeemAI-systeemEen machinaal systeem dat voor expliciete of impliciete doelen uit invoer afleidt hoe het uitvoer genereert, voorspellingen, inhoud, aanbevelingen of beslissingen, die fysieke of virtuele omgevingen kunnen beïnvloeden. De OESO-achtige definitie die de EU AI Act volgt. Zie algoritme, machine learning.Open full entry → dat de organisatie bouwt of inzet introduceert risico's voor fairness, veiligheid, privacy, beveiliging, en de rest van de GovCompass-7. Het besturen van die risico's is waar AI governanceAI governanceGovernance uitgebreid voor AI: hetzelfde organisatiebrede besturen op het hoogste niveau, verbreed naar wat AI anders maakt (het werkt in waarschijnlijkheden in plaats van vaste regels, leert uit data, en kan handelen op een snelheid en schaal die geen menselijke beoordelaar bijhoudt). Het erft de bestaande governance-structuur en brengt AI binnen de disciplines die de organisatie al voert, in plaats van een parallel stelsel in een silo te bouwen. Het werkt op twee niveaus: inrichting en uitvoering. Zie governance, governance design, executie, verantwoorde AI.Open full entry → voor is.

Het tweede is AI als hulpmiddel om risico te beheersen. Een risicofunctie kan AI gebruiken om meer data te verwerken, blootstellingen real-time te monitoren, anomalieën te detecteren, of claims te triageren. Dat is een productiviteitsvraag over het operating model van de risicofunctie zelf, geen governancegovernanceHet stelsel waarmee een organisatie zichzelf bestuurt: corporate governance, risicobeheer, compliance, verantwoordingslijnen, risicobereidheid en het besturingsmodel. Het bestaat over alles wat de organisatie doet, voor en los van AI. AI governance is ditzelfde stelsel, uitgebreid voor AI. Zie AI governance, governance design, executie.Open full entry →-vraag.

Dit zijn verschillende problemen. AI als hulpmiddel wordt bestuurd zoals elk ander AI-systeem dat de organisatie inzet: het gaat de AI-inventarisAI-inventarisEen register van alle AI-systemen die een organisatie bouwt, koopt of inbedt, met eigenaren en risicoklassen, de voorwaarde om er ook maar één te kunnen besturen. Zie risico, governance.Open full entry → in en wordt aan de GovCompass-7 gehouden zoals al het andere. Maar de discipline van AI governance gaat over de eerste vraag, en het is de eerste vraag die met enterprise risk management verbonden moet worden.

AI governance hoort in ERM, niet ernaast

Wanneer AI governance op de agenda komt, is het gangbare instinct om een nieuwe structuur te bouwen: een AI-commissie, een AI-beleid, een AI-risicotaxonomie, naast het bestaande enterprise risk management raamwerk. Dit levert twee parallelle machines op die niet met elkaar praten. De AI-commissie volgt AI-risico's in een eigen register; de ERM-functie volgt enterprise-risico's in een ander; en de board ziet AI-risico als een apart onderwerp in plaats van als onderdeel van het risicoprofiel dat ze al bestuurt.

Het COSO ERM 2017 raamwerk is juist gebouwd om deze fragmentatie te voorkomen. Het uitgangspunt is dat risico geïntegreerd is met strategie en prestatie, niet beheerd in een silo. AI-risico is een enterprise-risico als elk ander: het raakt de strategie, het heeft een eigenaar, het draagt een ernst, en het concurreert om aandacht en budget met elk ander risico dat de organisatie loopt. Het als een apart domein behandelen ondermijnt de integratie die COSO ERM beoogt te creëren.

Het schonere model is één structuur. De GovCompass-7 levert het controleraamwerk op het niveau van elk AI-systeem: de preventieve, detectieve en correctieve controls die elke pijlerpijlerEen principe van verantwoorde AI als iets dat een organisatie actief borgt in plaats van louter onderschrijft: een van de zeven pijlers van het GovCompass-7 control-raamwerk, één per principe. Een pijler wordt geborgd, niet geïmplementeerd, door de schades te benoemen die het principe zouden schenden, hun risico in te schatten, en controls te plaatsen die het verminderen. Onderscheiden van het integrerend element (agentische AI), dat de zeven bindt in plaats van er een van te zijn. Zie principe, schade, risico, integrerend element.Open full entry → borgen. Enterprise risk management levert de laag erboven: het neemt het restrisicorestrisicoHet risico dat overblijft nadat controls het hebben verminderd. Geen control brengt een risico tot nul terug, en niet elke control is zijn kosten waard, dus wordt er een bewuste afweging gemaakt: of de kosten van verdere control opwegen tegen de risicovermindering die het oplevert, en of het resterende risico aanvaardbaar is tegen de risicobereidheid van de organisatie. Dit is een afweging op inrichtingsniveau, waar de uitvoering terugrapporteert en governance het restrisico aanvaardt, om meer control vraagt, of de use case afwijst. EU AI Act Art. 9(5) vereist dat het per gevaar en in totaal aanvaardbaar wordt geoordeeld. Zie risico, control, risicobereidheid.Open full entry → dat die controls overlaten, weegt het tegen de risk appetite van de organisatie, registreert het in het enterprise risicoregisterrisicoregisterHet levende overzicht van de geïdentificeerde risico's van een AI-systeem, hun inschatting, respons, eigenaren en herzieningsdata, actueel gehouden van ontwerp tot uitfasering. Zie risico, control, governance-keten.Open full entry →, en stuurt het door naar het toezicht van de board. AI governance is de controlcontrolDe concrete, toetsbare maatregel die een specifiek risico vermindert en daarmee het achterliggende principe beschermt. Ook wel risicobeheersmaatregel, risicorespons of risicobehandeling genoemd. Altijd herleidbaar tot het risico dat het adresseert: onder EU AI Act Art. 9 moet elke control terug te voeren zijn op een specifiek risico, en controls die los van hun risico's worden vastgelegd vormen een erkende compliance-fout. Het werkt in een van drie typen: preventief, detectief of correctief. Zie risico, control-typen, bewijs.Open full entry →-discipline op systeemniveau; ERM is de aggregatie- en toezichtsdiscipline op enterprise-niveau. Het zijn twee lagen van één structuur, niet twee structuren.

Het three lines model toegepast op AI

De helderste manier om eigenaarschap toe te wijzen is het three lines model, in 2020 door het Institute of Internal Auditors geactualiseerd van het oudere "three lines of defence". Toegepast op AI governance lost het een vraag op die veel van de risicomanagement-literatuur opwerpt maar niet beantwoordt: wie, precies, is waarvoor aanspreekbaar.

De eerste lijn bezit en bedient het AI-systeem. De business-eigenaar die een AI-systeem inzet om beslissingen te nemen of te ondersteunen, bezit het risico dat dat systeem creëert. Die voert de preventieve controls uit in de dagelijkse operatie: houdt het systeem binnen het beoogde doel, past de maatregelen voor menselijk toezichtmenselijk toezichtHet ingebouwde vermogen van een mens om een AI-systeem te monitoren, erin in te grijpen, het te overrulen of stil te leggen, alleen betekenisvol wanneer de mens de bevoegdheid, de informatie en de tijd heeft om te handelen. Zie principe, human-in-the-loop, human-on-the-loop.Open full entry → toe, en handelt op de monitoringsignalen. In GovCompass-7 termen is de eerste lijn waar de controls daadwerkelijk werken. AI governance faalt het vaakst omdat de eerste lijn de controls als andermans taak behandelt.

De tweede lijn levert het raamwerk, de expertise en de tegenspraak. Dit is waar de AI-governance-functie zit, vaak een AI Officer of een AI-governance-team. De tweede lijn bezit het GovCompass-7 raamwerk zelf: definieert de controls die elke pijler vereist, onderhoudt de AI-inventaris en de risicoclassificatie, stelt het beleid op, en daagt de eerste lijn uit op de vraag of de controls ontworpen zijn en werken. De tweede lijn bedient het AI-systeem niet; ze stelt de norm waaraan de eerste lijn wordt gehouden en rapporteert het geaggregeerde beeld naar ERM. Cruciaal: de tweede lijn is ook waar AI-risico wordt vertaald naar enterprise-risicotaal: een GovCompass-7 control-gap wordt een risicoregister-item met een ernst, een eigenaar, en een behandeling.

De derde lijn levert onafhankelijke assurance. Internal audit, de derde lijn, bezit de controls niet en stelt het raamwerk niet op. Ze beoordeelt onafhankelijk of de eerste lijn de controls bedient en of het raamwerk van de tweede lijn adequaat is. Voor AI-systemen is dit waar de conformiteitsonderbouwing die de EU AI Act vereist een onafhankelijk oog ontmoet: internal audit toetst of de technische documentatietechnische documentatieRegistraties die een aanbieder voor een hoog-risico-AI-systeem moet samenstellen en bewaren om conformiteit aan te tonen, met dekking van het ontwerp, de data, het testen, het risicobeheer en de monitoring. Zie aanbieder, bewijs, model card.Open full entry →, de maatregelen voor menselijk toezicht, en de post-market monitoringpost-market monitoringDe plicht aan de aanbiederszijde om ervaring met systemen in gebruik systematisch te verzamelen en erop te handelen, de productregelgevingshelft van doorlopende monitoring. Zie doorlopende monitoring, aanbieder.Open full entry → daadwerkelijk bestaan en functioneren, in plaats van op papier te bestaan. Een organisatie waarvan de AI governance nooit door de derde lijn is gegaan, heeft assurance-gaten die ze niet kan zien.

Het bestuursorgaan staat boven alle drie. De board oefent toezicht uit: ze stelt de risk appetite die bepaalt hoeveel AI-risico de organisatie zal accepteren, en houdt het management aanspreekbaar om daarbinnen te blijven. Onder de EU AI Act en steeds vaker onder verwachtingen van investeerders en toezichthouders wordt toezicht op AI-risico een expliciete board-verantwoordelijkheid, waardoor de rapportagelijn van de tweede lijn, via ERM, naar de board de ruggengraat van de hele structuur wordt.

Hoe een GovCompass-7 gap een enterprise-risico wordt

De verbinding tussen de twee disciplines wordt concreet in één mechanisme: de vertaling van een control-gap naar een risicoregister-item.

Neem een high-risk AI-systeem. De tweede lijn beoordeelt het tegen de GovCompass-7: zijn voor elke pijler de preventieve, detectieve en correctieve controls ontworpen, geïmplementeerd en aangetoond. Stel dat de fairness-pijler wordt bestuurd door een pre-deployment bias-test maar geen productiemonitoring en geen correctief proces heeft. Dat is een control-gap. Op zichzelf is het een governance-bevinding. Maar het blijft geen governance-bevinding.

De gap wordt vertaald naar een enterprise-risico: het risico dat het systeem in productie discriminerende uitkomsten produceert die ongedetecteerd en ongecorrigeerd blijven, met een ernst gedreven door het gevolg van de beslissing die het systeem neemt en het aantal getroffen mensen. Dat risico wordt geregistreerd in het enterprise risicoregister, gewogen tegen de risk appetite van de organisatie voor discriminatie en regulatoire blootstelling, toegewezen aan de eerste-lijn-eigenaar met de tweede lijn als raamwerk-eigenaar, en naar de board gebracht als het de appetite overschrijdt. De behandeling, het bouwen van de ontbrekende detectieve en correctieve controls, wordt een gevolgde actie met een deadline.

Dit is het mechanisme dat voorkomt dat AI governance een parallelle wereld wordt. Elke GovCompass-7 gap heeft een pad naar het enterprise risicoregister, waar het op gelijke voet om aandacht concurreert met elk ander enterprise-risico, in taal die de board al begrijpt.

Mapping naar COSO ERM

De vijf componenten van COSO ERM 2017 geven de structuur een herkenbare vorm, en AI governance mapt op elk.

Governance en cultuur: het toezicht van de board op AI-risico, de operating structure die de drie lijnen toewijst, en een cultuur die AI-risico als ieders verantwoordelijkheid behandelt in plaats van alleen die van het AI-team.

Strategie en doelstelling: de risk appetite van de organisatie voor AI, bewust gesteld in plaats van ontdekt na een incident, en de afstemming van AI-inzet op die appetite.

Prestatie: het hart van de verbinding. De AI-inventaris, de risicoclassificatie, de GovCompass-7 beoordeling van elk high-risk systeem, en de vertaling van control-gaps naar geprioriteerde risico's.

Review en revisie: de continue monitoring die het Artikel 9 risicomanagementsysteem en de post-market monitoring-verplichtingen van de EU AI Act vereisen, die wijzigingen terugkoppelt naar de controls.

Informatie, communicatie en rapportage: de rapportagelijn van de tweede lijn, via ERM, naar de board, en de externe rapportage die de EU AI Act vereist, inclusief incidentmelding.

Waar te beginnen

Als je organisatie zowel een ERM-functie als een opkomende AI-governance-inspanning heeft, is de meest waardevolle eerste stap weigeren ze als twee structuren te laten draaien. Plaats de AI-governance-functie expliciet in de tweede lijn, geef haar de GovCompass-7 als controleraamwerk, en bouw het ene mechanisme dat de twee disciplines verbindt: de vertaling van elke control-gap naar een enterprise risicoregister-item met een eigenaar, een ernst, en een pad naar de board.

Vanaf daar kent elk van de drie lijnen zijn taak. De eerste lijn bedient de controls. De tweede lijn bezit het raamwerk en rapporteert het geaggregeerde beeld. De derde lijn levert onafhankelijke assurance. En de board bestuurt AI-risico als onderdeel van het risicoprofiel dat ze al overziet, in plaats van als een apart onderwerp waarvan haar werd gevraagd zich er druk om te maken. Dat is wat het betekent om AI te besturen binnen enterprise risk management in plaats van ernaast.