Art. 26.5 — Monitoring: houd de werking van je AI in de gaten

Bijgewerkt: juni 2026 — volledige herziening naar Validai-kwaliteitsstandaard

Inleiding: monitoring als continue compliance-plicht

Hoog-risico AI-systemen zijn geen statische tools — ze opereren in dynamische omgevingen, verwerken steeds nieuwe data en produceren beslissingen met reële gevolgen voor mensen. Art. 26.5 EU AI Act erkent dit door deployers te verplichten het systeem actief te monitoren in de operationele context. Compliance is niet afgerond bij ingebruikname; het is een doorlopende verantwoordelijkheid.

Art. 26.5 verplicht deployers om: (1) de werking van het AI-systeem te monitoren op basis van de gebruiksinstructies, (2) afwijkingen van de verwachte prestaties te signaleren, en (3) relevante bevindingen te melden aan de provider en — bij risico's voor derden — aan de bevoegde autoriteit.

Juridische context: Art. 26.5 en Art. 72

Art. 26.5 is de deployer-pendant van Art. 72, dat providers verplicht tot post-market monitoring van hun systemen. Providers moeten een post-market monitoring plan opstellen; deployers moeten actief bijdragen aan de informatieverzameling in hun specifieke context.

Considerans 93 stelt dat deployers in een unieke positie zijn: zij kennen de operationele context, de eindgebruikers en de specifieke populatie waarop het systeem wordt ingezet. Afwijkingen die in de productieomgeving optreden, zijn voor de provider vaak onzichtbaar zonder feedback van de deployer. Art. 26.5 formuleert deze informatieplicht juridisch.

Wat moet gemonitord worden?

De gebruiksinstructies van de provider moeten specificeren welke prestatieparameters relevant zijn voor dit systeem. In het algemeen omvat monitoring bij hoog-risico AI:

Prestatiemonitoring:

• Nauwkeurigheid van voorspellingen of classificaties over tijd
• Vertrouwensscores en de distributie ervan
• Foutpercentages (false positives / false negatives) per subgroep
• Responsetijden en systeembeschikbaarheid

Fairness-monitoring:

• Vergelijkende analyse van uitkomsten per demografische groep (geslacht, leeftijd, etniciteit)
• Detectie van disproportionele impact op kwetsbare groepen
• Trend-analyse: verslechtert de fairness over tijd?

Driftmonitoring:

• Concept drift: verandert de relatie tussen inputvariabelen en het te voorspellen fenomeen?
• Data drift: wijzigt de verdeling van inputdata significant ten opzichte van de trainingsdata?
• Distributieverschuivingen die op modelveroudering kunnen duiden

Monitoringfrequentie en -methode

De provider-instructies bepalen de minimale monitoringfrequentie. Aanvullend geldt als uitgangspunt: hoe groter de impact van individuele AI-beslissingen, hoe hogere de monitoringfrequentie. Een hoog-risico systeem dat dagelijks honderden kredietbeslissingen neemt, vraagt om dagelijkse of wekelijkse monitoring. Een systeem dat maandelijks enkele beoordelingen uitvoert, kan volstaan met maandelijkse reviews.

Praktische monitoringmethoden:

• Geautomatiseerde dashboards die real-time KPIs tonen (aanbevolen voor hoge-volume systemen)
• Steekproefgewijze handmatige review van AI-beslissingen door een onafhankelijke medewerker
• Vergelijkende analyse van AI-beslissingen versus handmatige beslissingen in parallelle cases
• Klachtenanalyse: signaleren betrokkenen disproportioneel nadeel van AI-beslissingen?

Wanneer moet u de provider informeren?

Art. 26.5 verplicht deployers om afwijkingen aan de provider te melden. De gebruiksinstructies moeten beschrijven wat als "afwijking" geldt. Algemene meldingsdrempels zijn:

• Prestatiemetrieken die buiten de door de provider gespecificeerde bandbreedte vallen
• Systematische fouten die een bepaalde subgroep disproportioneel treffen
• Onverwacht systeemgedrag dat niet door de provider was voorzien
• Gevallen waarbij het systeem beslissingen produceert die aantoonbaar onjuist zijn

Naast de provider moet de deployer bij ernstige incidents ook de nationale toezichthouder (ACM) informeren conform Art. 73 EU AI Act.

Deployer-specifieke implicaties

Monitoring-verantwoordelijkheid bij meerdere deployers: Als een hoog-risico AI-systeem door meerdere deployers wordt ingezet (bijv. een cloudplatform), draagt elke deployer een eigen monitoringverplichting voor zijn specifieke toepassingsomgeving. U kunt niet verwijzen naar monitoring door andere deployers.

Koppeling aan logretentie (Art. 26.6): Monitoring is alleen zinvol als de logs beschikbaar zijn voor analyse. Zorg dat uw monitoring-setup gebruik maakt van de logs die het systeem genereert (Art. 12) en die u conform Art. 26.6 bewaart.

Documentatie voor ACM: Leg uw monitoringresultaten vast: datum van review, gemeten metrieken, vergelijking met normen, geconstateerde afwijkingen, acties ondernomen. Dit is uw bewijs van due diligence bij een incident.

Handhaving en sancties

Niet-naleving van Art. 26.5 valt onder Art. 99.4: boetes tot €15.000.000 of 3% van de wereldwijde jaaromzet. Bij incidenten waarbij inadequate monitoring een rol speelde, is de deployer primair aansprakelijk.

Veelgestelde vragen

V: Onze provider levert geen monitoringtools. Moeten wij die zelf bouwen?
A: De provider is verplicht om de technische middelen voor monitoring te leveren (Art. 13.3, Art. 72). Als die ontbreken, kunt u de provider contractueel aanspreken. Intussen kunt u zelf basic monitoring opzetten via steekproefsgewijze handmatige review en klachtenanalyse — dit is niet ideaal maar beter dan geen monitoring.

V: Hoe detecteer ik concept drift als ik geen toegang heb tot de modelinternals?
A: Concept drift is detecteerbaar via output-analyse: monitort u of de uitkomstdistributie van het model over tijd significant verandert zonder dat de inputpopulatie verandert. Een plotselinge stijging van positieve scores bij een kredietmodel zonder duidelijke populatiewijziging kan duiden op drift. Meld dit aan de provider.

Checklist: Art. 26.5 compliance

1. Beschikt u voor elk hoog-risico AI-systeem over een schriftelijk monitoringplan met frequentie en metrieken?
2. Worden prestatiemetrieken periodiek vergeleken met de door de provider gespecificeerde normen?
3. Worden fairness-metrieken gemonitord (uitkomsten per demografische subgroep)?
4. Is er een procedure voor het melden van afwijkingen aan de provider?
5. Worden monitoringresultaten en -acties gedocumenteerd?
6. Is er een drempel gedefinieerd waarboven een bevinding als "incident" wordt gekwalificeerd (Art. 73)?
7. Wordt klachtdata van betrokkenen systematisch geanalyseerd als monitoring-input?