De introductie van generatieve AI in de zorg roept doorgaans veel enthousiasme op. Zo neemt met bijvoorbeeld een AI-toepassing die spreekkamergesprekken omzet in medische verslagen de administratieve last af. Het uitblijven van negatieve feedback wordt al snel gezien als bewijs dat de toepassing goed functioneert. Maar dat een tekst vloeiend en overtuigend leest, betekent niet dat deze correct is. Validatie is daarom een noodzakelijke randvoorwaarde voor succes op schaal. In dit artikel lichten we de noodzaak van validatie toe, wat dit inhoudt en hoe het raamwerk dat het RIGH:T-consortium ontwikkelt zorgorganisaties hierbij kan ondersteunen.
Een recent Nivel-rapport schetst dat het aandeel huisartsenpraktijken met AI-ondersteunde spraakgestuurde rapportage in een jaar ruim verdubbelde, van 14 procent in 2024 naar 36 procent in 20251. Ook in de ggz en ziekenhuiszorg is deze technologie in opmars. Met de aanwijzing als landelijke AZWA-doorbraak staat grootschalige opschaling voor de deur.
Deze snelle groei vraagt om een belangrijke kanttekening: gebruikstevredenheid staat niet gelijk aan kwaliteit of veilige inzet. Het is van belang dat we een objectievere maat van correctheid en betrouwbaarheid hanteren voordat we deze technologie op grote schaal veilig kunnen inzetten.
Schijnzekerheid van human-in-the-loop
Zorgen over veiligheid worden vaak gepareerd met het human-in-the-loop principe: de zorgverlener controleert de tekst voordat deze het dossier ingaat, waardoor fouten voorkomen zouden moeten worden. Dit logische vangnet werkt in de praktijk niet afdoende, zeker niet op schaal.
Omdat taalmodellen zo overtuigend en professioneel formuleren, ontstaat het risico dat zorgverleners de suggesties van de AI op den duur kritiekloos overnemen (automation bias)2. Daarbij treedt na verloop van tijd feedbackmoeheid op: de bereidheid van zorgverleners om feedback te geven op de kwaliteit neemt af omdat dit te veel tijd kost, niet omdat de kwaliteit goed is.
Daarnaast botst zo'n controleplicht met het eigenlijke doel van de AI-scribe: als de zorgverlener elk verslag tot in detail moet nakijken, verplaatst het werk zich slechts van typen naar corrigeren. De administratieve last verschuift, maar verdwijnt niet. Kortom: onjuistheden glippen alsnog onopgemerkt het patiëntendossier in. Het is daarom van groot belang om in kaart te brengen wat de risico op fouten is bij de inzet van AI voordat we deze op grote schaal inzetten. Om zorgverleners écht te ontlasten en de kans op grootschalige fouten te minimaliseren, moet de applicatie vooraf zo betrouwbaar mogelijk worden gemaakt.
Vertrouwen begint bij validatie
In de context van AI in de zorg heeft validatie veel betekenissen. Wij definiëren het als het methodische evaluatieproces waarin veiligheid en betrouwbaarheid van een toepassing objectief worden getoetst, vóórdat deze in de patiëntenzorg wordt ingezet3. Dit houdt in dat de technische accuraatheid wordt gemeten ten opzichte van een vastgestelde standaard én dat structureel wordt beoordeeld of de AI-output veilig, context-adequaat en vrij van systematische vertekeningen (bias) is binnen de specifieke setting van de zorginstelling.
Wat validatie door een zorgorganisatie niet is:
- Een overtuigende demonstratie van een leverancier;
- Het hebben van een CE-markering voor software als medisch hulpmiddel;
- Effectiviteitsindicatoren zoals tijd- of kostenbesparing;
- Een tevreden zorgverlener of patiënt.
Validatie is wél de stap in de AI-levenscyclus waarmee een zorgorganisatie vaststelt of een model écht veilig en betrouwbaar genoeg is voor de patiëntenzorg. Uiteraard zijn testen op systeemniveau, zoals het valideren van koppelingen met andere (bestaande) systemen of het uitvoeren van functionele testen ook onderdeel van de algehele beoordeling.
Daarnaast zijn hervalidatie en monitoring belangrijk voor de borging van kwaliteit, maar deze latere fases in de AI-levenscyclus laten wij nu buiten beschouwing.
Omdat zo'n formele definitie van validatie op papier nog vrij breed en abstract blijft, is het van belang dat we hier praktische invulling aan geven zodat zorginstellingen weten wat te doen.
Naar een validatieraamwerk
Het RIGH:T consortium4 - een sectoroverstijgend samenwerkingsverband van zorginstellingen – heeft als doel een validatieraamwerk te creëren voor generatieve AI in de zorg, met AI-scribes als eerste toepassing. Dé te beantwoorden vraag: hoe weet een zorginstelling dat een specifieke generatieve AI-toepassing veilig genoeg is om in te zetten in hun zorgcontext?
Deze vraag omvat een aantal belangrijke kenmerken:
- Je valideert altijd een specifieke toepassing, nooit zomaar algemeen 'het model'.
- Validatie is zorgcontext-afhankelijk: wat in een ziekenhuis werkt, past niet zonder meer in de ggz, de VVT of de huisartsenpraktijk. Zelfs binnen één ziekenhuis verschilt de setting op de intensive care wezenlijk van die op de polikliniek.
- 'Veilig genoeg' vraagt om een bewuste risicoafweging.
- Dit vereist een concrete partij (zoals de instelling zelf) die actief deze afweging maakt en daarmee invulling moet geven aan een risicogestuurde validatie.
Dit proces kan niet plaatsvinden zonder betrokkenheid van de eindgebruikers in een multidisciplinair team.
Het RIGH:T-raamwerk hanteert voor validatie door een zorginstelling drie onderdelen, namelijk kwaliteit van documentatie, maatschappelijke waarden en invloed op zorgverlener en patiënt. Zo beoogt het consortium zorginstellingen een concreet en praktisch handvat te bieden, zodat zij straks zélf een weloverwogen besluit kunnen nemen of een AI-toepassing klaar is voor de werkvloer.
Voorbereiding: regierol zorginstelling
Een dergelijk uitgebreid validatieraamwerk roept logischerwijs de vraag op wat dit organisatorisch van een zorginstelling vergt. Het uitgangspunt is nadrukkelijk niet dat een zorgorganisatie alle validatiestappen zelf moet uitvoeren, maar wel dat zij de regie en verantwoordelijkheid behoudt om de benodigde informatie correct te verkrijgen en risicogestuurde afwegingen kan maken.
Dit vraagt allereerst om scherpe afspraken met leveranciers over transparantie van informatie en verantwoordelijkheden. Daarnaast is het aangaan van samenwerkingsverbanden met andere zorginstellingen verstandig, zodat eerdere validaties in een vergelijkbare setting (gedeeltelijk) kunnen worden hergebruikt en dubbel werk wordt voorkomen.
Intern vereist dit geen compleet nieuwe afdelingen, maar wel het bevorderen van zogeheten organizational readiness: het in positie brengen van de bestaande organisatie om dit te kunnen doen. Zorgorganisaties beschikken al over sleutelfiguren zoals inkopers, functionarissen gegevensbescherming, security officers, juristen en professionals binnen de medische technologie of ICT, zoals klinisch fysici en klinisch informatici, of binnen AI-stuurgroepen. Deze professionals hoeven een AI-toepassing niet zelf technisch door te lichten, maar moeten wel uitgerust zijn om op hun eigen domein de juiste kritische vragen te stellen en de antwoorden daarop adequaat te beoordelen.
Om deze reden moet een zorginstelling de AI-geletterdheid (AI literacy), niet alleen onder zorgverleners, maar over de volle breedte van de organisatie nu al vergroten. Pas wanneer die basiskennis aanwezig is, beschikt de zorginstelling over de vaardigheden om een toekomstig validatieraamwerk succesvol in de praktijk te brengen.
Raamwerk voor validatie
De implementatie van generatieve AI-toepassingen gaat nu ogenschijnlijk sneller dan de robuuste evaluatie ervan. In deze vroege fase is het aan individuele zorgorganisaties om lokaal een weloverwogen afweging te maken over de inzet van de technologie. Waar de potentiële meerwaarde - zoals efficiëntie en tijdsbesparing - inmiddels uitgebreid wordt gerapporteerd, ontbreekt vooralsnog structureel zicht op de risico's en de veiligheid van generatieve AI-toepassingen.
Voordat AI grootschalig verantwoord kan worden ingezet, moeten deze risico’s eerst weloverwogen in kaart zijn gebracht. Validatie is daarvoor een belangrijk instrument. Op dit moment ontbreekt een gestructureerde manier om dergelijke validaties uit te voeren. Het RIGH:T-consortium ontwikkelt daarom een raamwerk waarmee zorgorganisaties validatie stap voor stap kunnen uitvoeren, zodat AI ook op nationale schaal veilig en duurzaam kan worden ingezet.
