Menselijk toezicht: mensen in controle houden over AI

Waarom menselijk toezicht een pijler van verantwoorde AI is

Van de zeven GovCompass-7 pijlers is menselijk toezichtmenselijk toezichtHet ingebouwde vermogen van een mens om een AI-systeem te monitoren, erin in te grijpen, het te overrulen of stil te leggen, alleen betekenisvol wanneer de mens de bevoegdheid, de informatie en de tijd heeft om te handelen. Zie principe, human-in-the-loop, human-on-the-loop.Open full entry → de pijlerpijlerEen principe van verantwoorde AI als iets dat een organisatie actief borgt in plaats van louter onderschrijft: een van de zeven pijlers van het GovCompass-7 control-raamwerk, één per principe. Een pijler wordt geborgd, niet geïmplementeerd, door de schades te benoemen die het principe zouden schenden, hun risico in te schatten, en controls te plaatsen die het verminderen. Onderscheiden van het integrerend element (agentische AI), dat de zeven bindt in plaats van er een van te zijn. Zie principe, schade, risico, integrerend element.Open full entry → die alle andere beschermt. Fairness, veiligheid, privacy, en de rest kunnen elk in een systeem worden ontworpen, maar ze kunnen ook driften, degraderen, of worden omzeild zodra het systeem live is. Menselijk toezicht is de pijler die ervoor zorgt dat iemand gepositioneerd is om op te merken, te bevragen, en te handelen wanneer een van de andere faalt. Haal het weg, en de andere zes worden beweringen die niemand in de positie is om te controleren.

Dit is ook de pijler die AI aan mensen verankert. Een AI-systeemAI-systeemEen machinaal systeem dat voor expliciete of impliciete doelen uit invoer afleidt hoe het uitvoer genereert, voorspellingen, inhoud, aanbevelingen of beslissingen, die fysieke of virtuele omgevingen kunnen beïnvloeden. De OESO-achtige definitie die de EU AI Act volgt. Zie algoritme, machine learning.Open full entry → optimaliseert voor het doel dat het is gegeven. Volledig autonoom gelaten streeft het dat doel na zonder oog voor de menselijke kosten die buiten zijn doelfunctie vallen. Menselijk toezicht is de staande eis dat een persoon, met de bevoegdheid om in te grijpen, in de loop of erboven blijft. Het is wat het systeem een hulpmiddel houdt in dienst van menselijke beslissingen in plaats van een vervanging ervan.

Human-centricity: de gedachte achter de pijler

Menselijk toezicht is de operationele pijler. Human-centricityhuman-centricityHet principe dat AI mensen moet dienen, het oordeel versterken, autonomie en waardigheid respecteren, met toezicht en betwisting in verhouding tot de gevolgen. Zie principe, menselijk toezicht.Open full entry → is de gedachte die het dient, en het is breder dan toezicht alleen.

Human-centricity stelt dat AI mensen moet dienen. In de praktijk betekent dit drie dingen. Het moet het menselijk oordeel ondersteunen in plaats van vervangen, en de ingrijpende beslissingen bij een persoon laten die kan wegen wat het systeem niet kan. Het moet autonomie en waardigheid respecteren, en de mensen die aan een beslissing onderworpen zijn als mensen behandelen, niet als datapunten om te verwerken. En het moet toezicht in verhouding tot de inzet houden, met zwaarder menselijk toezicht waar de gevolgen voor een persoon ernstiger zijn.

Dat laatste punt is belangrijk omdat het een vals debat oplost. De vraag is niet of AI in het algemeen menselijk toezicht moet hebben. Het is hoeveel, en in welke vorm, voor dit specifieke systeem, gegeven wat het beslist en wie het raakt. Een aanbevelingssysteem dat een film voorstelt heeft weinig menselijk toezicht nodig. Een systeem dat aanbeveelt of iemand krediet krijgt, of een transactie als fraude markeert, heeft veel nodig. Human-centricity is de gedachte die toezicht op gevolg afstemt.

Human-centricity verbreedt ook de kring van wie ertoe doet. Toezicht wordt vaak rond gebruikers geframed, de mensen die het systeem bedienen. Maar de mensen die het meest door een geautomatiseerde beslissing worden geraakt zijn vaak niet de gebruikers: de kredietaanvrager, de gemarkeerde klant, de afgewezen sollicitant. Een human-centric systeem heeft oog voor deze betrokken belanghebbenden, niet alleen voor de bediener, en geeft hen een manier om een beslissing aan te vechten en menselijke beoordeling te ontvangen. Het recht op een menselijke beoordeling van een significante geautomatiseerde beslissing is een van de meest concrete uitdrukkingen van human-centricity, en het verschijnt zowel in de bepalingen van de AVG over geautomatiseerde besluitvorminggeautomatiseerde besluitvormingBeslissingen die uitsluitend op geautomatiseerde verwerking berusten en rechtsgevolgen of vergelijkbaar aanzienlijke gevolgen hebben, door AVG-artikel 22 beperkt tot drie uitzonderingsgronden, met waarborgen voor menselijke tussenkomst. Zie profilering, menselijk toezicht.Open full entry → als in de eisen voor menselijk toezicht van de EU AI Act.

De drie toezichtpatronen

De praktische kern van menselijk toezicht is het kiezen van het juiste patroon voor de inzet. Drie patronen zijn het waard om te onthouden, omdat vrijwel elk reëel ontwerp er een van is of een combinatie.

Human-in-the-loophuman-in-the-loopEen toezichtsopstelling waarin een mens elk geval dat het systeem aanbeveelt goedkeurt of beslist, passend bij individuele beslissingen met grote gevolgen, en alleen betekenisvol met bevoegdheid, informatie en tijd. Zie menselijk toezicht, human-on-the-loop.Open full entry →. De mens keurt elk geval goed of beslist erover, en het systeem beveelt aan. De mens is de poort: niets krijgt effect zonder de beslissing van een persoon. Dit past bij individuele beslissingen met hoge inzet waar het gevolg van een fout ernstig is en het volume laag genoeg dat beoordeling per geval haalbaar is. Een kredietweigering, een medische beoordeling, een beslissing die de rechten van één persoon materieel raakt: deze vragen om een mens in de loop. De prijs is dat het niet schaalt naar hoog volume, en het risicorisicoIn de termen van de EU AI Act de combinatie van de waarschijnlijkheid dat een schade optreedt en de ernst ervan als dat gebeurt. De schakel tussen een principe (via de schade die het zou schenden) en een control (de maatregel die het vermindert). Het benoemen van de schade en het inschatten van het risico is op grond van Art. 9 vereist voordat een maatregel wordt gekozen. Zie schade, control, restrisico.Open full entry → is dat de mens een stempelmachine wordt als de aanbevelingen van het systeem zelden verkeerd zijn, en daarom moet human-in-the-loop worden gekoppeld aan maatregelen die de beoordelaar daadwerkelijk betrokken houden.

Human-on-the-loophuman-on-the-loopEen toezichtsopstelling waarin mensen de werking monitoren en bij uitzondering ingrijpen, passend bij systemen met grote volumes waar beoordeling per geval onmogelijk is. Zie menselijk toezicht, human-in-the-loop.Open full entry →. De mens monitort de werking en grijpt bij uitzondering in. Het systeem handelt zelfstandig, maar een persoon superviseert het geaggregeerde gedrag en grijpt in wanneer iets buiten de verwachte bandbreedte valt. Dit past bij systemen met hoog volume waar het beoordelen van elk geval onmogelijk is maar supervisie niet: een fraudedetectiesysteem dat miljoenen transacties verwerkt, een content-moderatiesysteem, een monitoringsysteem. De mens is niet de poort op elke actie; ze zijn de supervisor van het geheel, met de bevoegdheid en de informatie om het te stoppen. De ontwerpuitdaging is de uitzonderingen zichtbaar maken, want human-on-the-loop faalt stil als de monitoring de gevallen die een mens nodig hebben niet blootlegt.

Human-in-command. De mens stelt het mandaat, kan het systeem overrulen of stilleggen, en bezit de beslissing om AI überhaupt te gebruiken. Dit is de governancegovernanceHet stelsel waarmee een organisatie zichzelf bestuurt: corporate governance, risicobeheer, compliance, verantwoordingslijnen, risicobereidheid en het besturingsmodel. Het bestaat over alles wat de organisatie doet, voor en los van AI. AI governance is ditzelfde stelsel, uitgebreid voor AI. Zie AI governance, governance design, executie.Open full entry →-laag boven de andere twee, en het is altijd vereist. Wat het operationele patroon ook is, een persoon of orgaan moet de keuze bezitten om het systeem in te zetten, te definiëren wat het mag doen, en de bevoegdheid behouden om het uit te schakelen. Human-in-command is geen rol per geval; het is de staande aanspreekbaarheid die geen enkele mate van automatisering wegneemt. Een organisatie kan een systeem human-on-the-loop draaien en er nog steeds volledig command over hebben, maar ze kan command niet afstaan zonder verantwoordelijkheid af te staan.

De drie zijn geen alternatieven waaruit je eenmalig kiest. Human-in-command is altijd aanwezig. Daaronder hangt de keuze tussen human-in-the-loop en human-on-the-loop af van de inzet en het volume, en een enkel systeem kan het ene patroon gebruiken voor zijn routinegevallen en het andere voor zijn gevallen met grote gevolgen. De discipline is om bewust te kiezen, de keuze te documenteren, en die af te stemmen op het gevolg van de beslissing die het systeem neemt.

Waar agentische systemen het beeld veranderen

Agentic AI zet de grootste druk op menselijk toezicht. Een systeem dat acties onderneemt in plaats van aanbevelingen produceert, kan niet human-in-the-loop worden bestuurd op het niveau van elke actie, omdat het volume en de snelheid beoordeling per actie onmogelijk maken. Toezicht op een agent is noodzakelijkerwijs human-on-the-loop voor routineacties en human-in-command voor het mandaat, met escalatietriggers die een mens erbij halen voor acties met grote gevolgen. De klassieke in-the-loop poort verschuift van elke actie naar de acties die het meest tellen. Dit is waarom menselijk toezicht de pijler is die het sterkst door autonomie wordt hervormd, en waarom agentische inzet een bewuste beslissing afdwingt over welke acties nog steeds een mens vereisen voordat ze effect krijgen.

In de praktijk brengen

Menselijk toezicht wordt, zoals elke GovCompass-7 pijler, bestuurd via preventieve, detectieve en correctieve controls: het toezichtpatroon dat in het systeem is ontworpen, de mechanismen voor contestatie en menselijke beoordeling, en de monitoring die de beoordelaar betrokken en de uitzonderingen zichtbaar houdt. De pijlerpagina zet die controls in detail uiteen.

De gedachte om mee te nemen in elk ontwerp is de gedachte waar human-centricity op staat: toezicht in verhouding tot de inzet. Bepaal voor elk systeem wat het beslist en wie het raakt, en kies het toezichtpatroon dat een competent persoon in controle houdt zonder te doen alsof beoordeling per geval mogelijk is waar dat niet zo is. Dat is wat het betekent om mensen in controle te houden over AI.