Menselijk toezicht: mensen in controle houden over AI

Waarom menselijk toezicht een pijler van verantwoorde AI is

Van de zeven pijlerspijlerEen principe van verantwoorde AI als iets dat een organisatie actief borgt in plaats van louter onderschrijft: een van de zeven pijlers van verantwoorde AI, één per principe. Een pijler wordt geborgd, niet geïmplementeerd, door de schades te benoemen die het principe zouden schenden, hun risico in te schatten, en controls te plaatsen die het verminderen. Onderscheiden van agentic AI, die geen van de zeven is maar een conditie die verandert hoe ze alle zeven worden bestuurd. Zie principe, schade, risico, agentic AI.Open full entry → van verantwoorde AIverantwoorde AIHet geheel van principes waaraan een AI-systeem zou moeten voldoen: eerlijkheid, veiligheid en betrouwbaarheid, privacy, beveiliging en robuustheid, transparantie en uitlegbaarheid, verantwoording, en menselijk toezicht. Breed gedeeld en liggend onder de EU AI Act en de grote frameworks. Op zichzelf zijn de principes intentieverklaringen; de wet maakt er plichten van die alleen waargemaakt kunnen worden als ze in de governance van de organisatie zijn verankerd. Zo landt verantwoorde AI in governance in plaats van ernaast. De zeven principes worden geordend in een control-raamwerk van zeven pijlers, met één pijler per principe. Zie principe, pijler, governance.Open full entry → is menselijk toezichtmenselijk toezichtHet ingebouwde vermogen van een mens om een AI-systeem te monitoren, erin in te grijpen, het te overrulen of stil te leggen, alleen betekenisvol wanneer de mens de bevoegdheid, de informatie en de tijd heeft om te handelen. Zie principe, human-in-the-loop, human-on-the-loop.Open full entry → de pijler die alle andere beschermt. FairnessfairnessHet principe dat een AI-systeem geen groep systematisch benadeelt. Het breekt zelden openlijk: de gangbare routes zijn historische data die eerdere scheefheid meeneemt naar nieuwe beslissingen, en proxy-discriminatie, waarbij een model nooit een beschermd kenmerk ziet maar er een vervanger voor leert, zoals een postcode of een gat in een cv. Onder de EU AI Act moeten aanbieders van hoogrisico-AI-systemen hun datasets onderzoeken op mogelijke bias (artikel 10), en enkele discriminerende toepassingen zijn ronduit verboden (artikel 5). Zie bias, verantwoorde AI, hoogrisico-AI-systeem.Open full entry →, veiligheid, privacyprivacyHet principe dat persoonsgegevens die een AI-systeem gebruikt of voortbrengt binnen het doel en de grondslag blijven waarvoor ze zijn verzameld. Drie routes veroorzaken de meeste problemen: persoonsgegevens in trainingsmateriaal dat daar nooit voor bedoeld was, modeloutput die reproduceert wat het model heeft onthouden, en purpose creep, waarbij een systeem dat voor één gebruik is gebouwd afglijdt naar een ander gebruik dat de oorspronkelijke grondslag niet dekte. De AVG regelt dit volledig, en de EU AI Act voegt data governance-plichten toe voor hoogrisicosystemen (artikel 10). Zie DPIA, verantwoorde AI.Open full entry →, en de rest kunnen elk in een systeem worden ontworpen, maar ze kunnen ook driftendriftHet geleidelijk afwijken van het gedrag of de prestaties van een AI-systeem van zijn gevalideerde staat na ingebruikname, zonder codewijziging of fout. Drift is van nature stil: er breekt niets, de nauwkeurigheid neemt gewoon af totdat iemand meet. De oorzaken zijn het onderscheiden waard: een verschuiving in de binnenkomende zakenmix, een wijziging in het bronmateriaal, een wijziging in omliggende systemen, of een update van het onderliggende model door de aanbieder. Zie model drift, agent drift.Open full entry →, degraderen, of worden omzeild zodra het systeem live is. Menselijk toezicht is de pijler die ervoor zorgt dat iemand gepositioneerd is om op te merken, te bevragen, en te handelen wanneer een van de andere faalt. Haal het weg, en de andere zes worden beweringen die niemand in de positie is om te controleren.

Dit is ook de pijler die AI aan mensen verankert. Een AI-systeemAI-systeemEen machinaal systeem dat voor expliciete of impliciete doelen uit invoer afleidt hoe het uitvoer genereert, voorspellingen, inhoud, aanbevelingen of beslissingen, die fysieke of virtuele omgevingen kunnen beïnvloeden. De OESO-achtige definitie die de EU AI Act volgt. Zie algoritme, machine learning.Open full entry → optimaliseert voor het doel dat het is gegeven. Volledig autonoom gelaten streeft het dat doel na zonder oog voor de menselijke kosten die buiten zijn doelfunctie vallen. Menselijk toezicht is de staande eis dat een persoon, met de bevoegdheid om in te grijpen, in de loop of erboven blijft. Het is wat het systeem een hulpmiddel houdt in dienst van menselijke beslissingen in plaats van een vervanging ervan.

Human-centricity: de gedachte achter de pijler

Menselijk toezicht is de operationele pijler. Human-centricityhuman-centricityHet principe dat AI mensen moet dienen, het oordeel versterken, autonomie en waardigheid respecteren, met toezicht en betwisting in verhouding tot de gevolgen. Zie principe, menselijk toezicht.Open full entry → is de gedachte die het dient, en het is breder dan toezicht alleen.

Human-centricity stelt dat AI mensen moet dienen. In de praktijk betekent dit drie dingen. Het moet het menselijk oordeel ondersteunen in plaats van vervangen, en de ingrijpende beslissingen bij een persoon laten die kan wegen wat het systeem niet kan. Het moet autonomie en waardigheid respecteren, en de mensen die aan een beslissing onderworpen zijn als mensen behandelen, niet als datapunten om te verwerken. En het moet toezicht in verhouding tot de inzet houden, met zwaarder menselijk toezicht waar de gevolgen voor een persoon ernstiger zijn.

Dat laatste punt is belangrijk omdat het een vals debat oplost. De vraag is niet of AI in het algemeen menselijk toezicht moet hebben. Het is hoeveel, en in welke vorm, voor dit specifieke systeem, gegeven wat het beslist en wie het raakt. Een aanbevelingssysteem dat een film voorstelt heeft weinig menselijk toezicht nodig. Een systeem dat aanbeveelt of iemand krediet krijgt, of een transactie als fraude markeert, heeft veel nodig. Human-centricity is de gedachte die toezicht op gevolg afstemt.

Human-centricity verbreedt ook de kring van wie ertoe doet. Toezicht wordt vaak rond gebruikers geframed, de mensen die het systeem bedienen. Maar de mensen die het meest door een geautomatiseerde beslissing worden geraakt zijn vaak niet de gebruikers: de kredietaanvrager, de gemarkeerde klant, de afgewezen sollicitant. Een human-centric systeem heeft oog voor deze betrokken belanghebbenden, niet alleen voor de bediener, en geeft hen een manier om een beslissing aan te vechten en menselijke beoordeling te ontvangen. Het recht op een menselijke beoordeling van een significante geautomatiseerde beslissing is een van de meest concrete uitdrukkingen van human-centricity, en het verschijnt zowel in de bepalingen van de AVGAVGVerordening (EU) 2016/679, de Algemene verordening gegevensbescherming (in het Engels: GDPR). De AVG geldt voor AI zodra persoonsgegevens de training, invoer, uitvoer of logs binnenkomen, en werkt naast de EU AI Act in plaats van erdoor te worden vervangen. Zie verwerkingsverantwoordelijke, verwerker, DPIA.Open full entry → over geautomatiseerde besluitvorminggeautomatiseerde besluitvormingBeslissingen die uitsluitend op geautomatiseerde verwerking berusten en rechtsgevolgen of vergelijkbaar aanzienlijke gevolgen hebben, door AVG-artikel 22 beperkt tot drie uitzonderingsgronden, met waarborgen voor menselijke tussenkomst. Zie profilering, menselijk toezicht.Open full entry → als in de eisen voor menselijk toezicht van de EU AI ActEU AI ActVerordening (EU) 2024/1689, in het Nederlands de AI-verordening, de Europese wet over artificiële intelligentie. Ze hanteert een risicogebaseerde aanpak: verboden praktijken, eisen voor hoogrisico-AI-systemen, transparantieverplichtingen voor specifieke toepassingen en een apart regime voor AI-modellen voor algemene doeleinden (general-purpose AI). Verplichtingen zijn verdeeld tussen aanbieders en gebruiksverantwoordelijken. Zie hoogrisico-AI-systeem, general-purpose AI, conformiteitsbeoordeling.Open full entry →.

De drie toezichtpatronen

De praktische kern van menselijk toezicht is het kiezen van het juiste patroon voor de inzet. Drie patronen zijn het waard om te onthouden, omdat vrijwel elk reëel ontwerp er een van is of een combinatie.

Human-in-the-loophuman-in-the-loopEen toezichtsopstelling waarin een mens elk geval dat het systeem aanbeveelt goedkeurt of beslist, passend bij individuele beslissingen met grote gevolgen, en alleen betekenisvol met bevoegdheid, informatie en tijd. Zie menselijk toezicht, human-on-the-loop.Open full entry →. De mens keurt elk geval goed of beslist erover, en het systeem beveelt aan. De mens is de poort: niets krijgt effect zonder de beslissing van een persoon. Dit past bij individuele beslissingen met hoge inzet waar het gevolg van een fout ernstig is en het volume laag genoeg dat beoordeling per geval haalbaar is. Een kredietweigering, een medische beoordeling, een beslissing die de rechten van één persoon materieel raakt: deze vragen om een mens in de loop. De prijs is dat het niet schaalt naar hoog volume, en het risicorisicoIn de termen van de EU AI Act de combinatie van de waarschijnlijkheid dat een schade optreedt en de ernst ervan als dat gebeurt. De schakel tussen een principe (via de schade die het zou schenden) en een control (de maatregel die het vermindert). Het benoemen van de schade en het inschatten van het risico is op grond van Art. 9 vereist voordat een maatregel wordt gekozen. Zie schade, control, restrisico.Open full entry → is dat de mens een stempelmachine wordt als de aanbevelingen van het systeem zelden verkeerd zijn, en daarom moet human-in-the-loop worden gekoppeld aan maatregelen die de beoordelaar daadwerkelijk betrokken houden.

Human-on-the-loophuman-on-the-loopEen toezichtsopstelling waarin mensen de werking monitoren en bij uitzondering ingrijpen, passend bij systemen met grote volumes waar beoordeling per geval onmogelijk is. Zie menselijk toezicht, human-in-the-loop.Open full entry →. De mens monitort de werking en grijpt bij uitzondering in. Het systeem handelt zelfstandig, maar een persoon superviseert het geaggregeerde gedrag en grijpt in wanneer iets buiten de verwachte bandbreedte valt. Dit past bij systemen met hoog volume waar het beoordelen van elk geval onmogelijk is maar supervisie niet: een fraudedetectiesysteem dat miljoenen transacties verwerkt, een content-moderatiesysteem, een monitoringsysteem. De mens is niet de poort op elke actie; ze zijn de supervisor van het geheel, met de bevoegdheid en de informatie om het te stoppen. De ontwerpuitdaging is de uitzonderingen zichtbaar maken, want human-on-the-loop faalt stil als de monitoring de gevallen die een mens nodig hebben niet blootlegt.

Human-in-command. De mens stelt het mandaat, kan het systeem overrulen of stilleggen, en bezit de beslissing om AI überhaupt te gebruiken. Dit is de governancegovernanceHet stelsel waarmee een organisatie zichzelf bestuurt: corporate governance, risicobeheer, compliance, verantwoordingslijnen, risicobereidheid en het besturingsmodel. Het bestaat over alles wat de organisatie doet, voor en los van AI. AI governance is ditzelfde stelsel, uitgebreid voor AI. Zie AI governance, governance design, execution level.Open full entry →-laag boven de andere twee, en het is altijd vereist. Wat het operationele patroon ook is, een persoon of orgaan moet de keuze bezitten om het systeem in te zetten, te definiëren wat het mag doen, en de bevoegdheid behouden om het uit te schakelen. Human-in-command is geen rol per geval; het is de staande aanspreekbaarheid die geen enkele mate van automatisering wegneemt. Een organisatie kan een systeem human-on-the-loop draaien en er nog steeds volledig command over hebben, maar ze kan command niet afstaan zonder verantwoordelijkheid af te staan.

De drie zijn geen alternatieven waaruit je eenmalig kiest. Human-in-command is altijd aanwezig. Daaronder hangt de keuze tussen human-in-the-loop en human-on-the-loop af van de inzet en het volume, en een enkel systeem kan het ene patroon gebruiken voor zijn routinegevallen en het andere voor zijn gevallen met grote gevolgen. De discipline is om bewust te kiezen, de keuze te documenteren, en die af te stemmen op het gevolg van de beslissing die het systeem neemt.

Waar agentic systemen het beeld veranderen

Agentic AIagentic AISystemen waarin een model handelingen verricht, tools aanroept, plannen in meerdere stappen uitvoert, wat zowel de capaciteit als elke faalvorm versterkt; bestuurd met action-allowlists, goedkeuringen en volledige logging. Zie AI-agent, agentic governance.Open full entry → zet de grootste druk op menselijk toezicht. Een systeem dat acties onderneemt in plaats van aanbevelingen produceert, kan niet human-in-the-loop worden bestuurd op het niveau van elke actie, omdat het volume en de snelheid beoordeling per actie onmogelijk maken. Toezicht op een agent is noodzakelijkerwijs human-on-the-loop voor routineacties en human-in-command voor het mandaat, met escalatietriggersescalatietriggerEen regel die een handeling met grote gevolgen aan een mens overdraagt voordat ze wordt uitgevoerd. De correctieve control die menselijk toezicht betekenisvol houdt zodra beoordeling per handeling onmogelijk is. Zie menselijk toezicht, control-typen.Open full entry → die een mens erbij halen voor acties met grote gevolgen. De klassieke in-the-loop poort verschuift van elke actie naar de acties die het meest tellen. Dit is waarom menselijk toezicht de pijler is die het sterkst door autonomie wordt hervormd, en waarom agentic inzet een bewuste beslissing afdwingt over welke acties nog steeds een mens vereisen voordat ze effect krijgen.

In de praktijk brengen

Menselijk toezicht wordt, zoals elke pijler, bestuurd via preventieve, detectieve en correctieve controlscontrolDe concrete, toetsbare maatregel die een specifiek risico vermindert en daarmee het achterliggende principe beschermt. Ook wel risicobeheersmaatregel, risicorespons of risicobehandeling genoemd. Altijd herleidbaar tot het risico dat het adresseert: onder EU AI Act Art. 9 moet elke control terug te voeren zijn op een specifiek risico, en controls die los van hun risico's worden vastgelegd vormen een erkende compliance-fout. Het werkt in een van drie typen: preventief, detectief of correctief. Zie risico, control-typen, bewijs.Open full entry →: het toezichtpatroon dat in het systeem is ontworpen, de mechanismen voor contestatie en menselijke beoordeling, en de monitoring die de beoordelaar betrokken en de uitzonderingen zichtbaar houdt. De pijlerpagina zet die controls in detail uiteen.

De gedachte om mee te nemen in elk ontwerp is de gedachte waar human-centricity op staat: toezicht in verhouding tot de inzet. Bepaal voor elk systeem wat het beslist en wie het raakt, en kies het toezichtpatroon dat een competent persoon in controle houdt zonder te doen alsof beoordeling per geval mogelijk is waar dat niet zo is. Dat is wat het betekent om mensen in controle te houden over AI.

Menselijk toezicht is kernstof in het AIGP-examen, het AI-governance-certificaat van de IAPP.