AI Lifecycle Management in de zorg


Het enthousiasme over de mogelijkheden van Artifical Intelligence (AI) in de zorg geeft veel zorgorganisaties de ruimte te experimenteren en AI-toepassingen in te zetten voor medische toepassingen. Maar juist na de initiële investeringen om AI-modellen en -toepassingen te ontwikkelen blijkt structureel tijd, geld en inspanning nodig te zijn. Om een ontwikkeld AI-model te implementeren en veilig te blijven gebruiken moet er nog veel gebeuren. Het gat van een veilige experimenteer- of ontwikkelomgeving naar productie moet overbrugd worden. Daarnaast dienen de prestaties van het model continu gemonitord, bijgestuurd, geborgd en aantoonbaar gemaakt worden. Lifecycle Management doet een intrede. De implementatie van AI Lifecycle Management is essentieel voor veilige zorg.

De tool “Handelingsruimte Waardevolle AI” is een hulpmiddel gericht op het ontwikkelen van een AI-oplossing voor de zorg en een handreiking naar innovatie in de zorg. Dit artikel gaat specifiek in op het in stand houden van de innovatie en dus over het continu en blijvend onderhouden van een oplossing. Iets wat in de handelingsruimte nog niet aan de orde komt.

Lifecycle Management & AI

Zorginstellingen experimenteren volop met het ontwikkelen, aanschaffen en in praktijk brengen van AI-toepassingen. Voor het ontwikkelen of verwerven van softwareapplicaties is het van belang om tijdens de ontwikkelfase/verwervingsfase rekening te houden met de vervolgstappen in de levenscyclus, te weten implementatie (voorbereiden vrijgave en inproductiename), gebruik (monitoren en beheren), doorontwikkeling en uiteindelijk afstoting. We spreken dan over Lifecycle Management. Een organisatie die dit niet meteen adresseert kan later geconfronteerd worden met herstelmaatregelen of complicaties tijdens de implementatie en gebruik. Dit is voor AI niet anders. AI Lifecycle Management is echter nog een onvolwassen vakgebied en heeft nog veel aan bewustwording te winnen. Voor Lifecycle Management van software is ondertussen 35 jaar ervaring opgebouwd en een standaard DevOps proces beschikbaar. AI kent parallellen en tegelijkertijd zijn er essentiële verschillen en komen er meer aspecten kijken bij AI Lifecycle Management dan bij andere software.

Aandachtspunten voor AI Lifecycle Management

Op basis van de bekende standaarden voor software Lifecycle Management zijn er acht aanvullende aandachtspunten voor AI Lifecycle Management.

  1. Meer vrijheidsgraden dan bij softwareontwikkeling en -onderhoud.
    Het gedrag van een AI-oplossing is zowel afhankelijk van de programmering zoals bij software (het AI-model) en van de data die door het AI-model wordt gebruikt. Bij software resulteert het gebruik van dezelfde input in hetzelfde resultaat. Bij AI is dat niet het geval. Door het zelflerend vermogen kunnen dezelfde inputgegevens resulteren in verschillende uitkomsten.
  2. Meer disciplines betrokken bij AI Lifecycle dan bij de Software Lifecycle.
    Dat betreft data gerelateerde disciplines, met vraagstukken over datakwaliteit en databeschikbaarheid (als input). Ook de juridische en ethische vraagstukken die bij het gebruik van AI komen kijken vragen extra aandacht, zeker in de zorg. Een discipline spreekt een eigen taal, gebruikt eigen tools en methodieken, heeft andere skills, eigen verantwoordelijkheden en een andere focus.
  3. Huidige vorm van datagedreven AI is een relatief jong vakgebied.
    De huidige vorm van datagedreven AI (waarin data gerelateerde disciplines een belangrijke rol spelen) is relatief nieuw1. De focus ligt nog op het ontwikkelen van nieuwe AI-algoritmen en minder op de lifecycle en beheercyclus. Hierdoor is er voor het Lifecycle Management minder bewustzijn en aandacht.
  4. Verantwoordelijkheden voor AI Lifecycle Management moeten nog belegd worden.
    Er is kennis nodig van AI en data gerelateerde disciplines en van Lifecycle Management processen zelf. Deze deskundigheid is schaars en – indien al aanwezig – op verschillende plekken in een organisatie aanwezig. Dat vraagt om samenwerking en duidelijke verdeling van verantwoordelijkheden.
  5. Wet- en regelgeving.
    Wet- en regelgeving én de publieke opinie stellen steeds meer eisen. AI-oplossingen worden onderworpen aan audits waarbij de uitlegbaarheid, nauwkeurigheid en correctheid (ook wel performance) van het model aantoonbaar moeten zijn. ‘Responsible AI’ is een benadering die naast het voldoen aan wet- en regelgeving invulling geeft aan het ethisch gebruik van AI en transparantie van de werking van het model. In sommige gevallen moeten individuele voorspellingen van het model te verklaren zijn in termen van welke elementen van de data welke invloed hebben gehad op de uitkomst van het model. In de eisen die de EU stelt in haar ’whitepaper on AI – A European approach to excellence and trust’ en ’Ethics guidelines for trustworthy AI‘ staat ethisch gebruik, het respecteren van menselijke autonomie, privacy, reproduceerbaarheid, traceerbaarheid en verifieerbaarheid van AI centraal.
  6. Snellere ontwikkel- en onderhoudscycli.
    Tijdens het gebruik van het AI-model treden veranderingen op in de programmering van het model (onderhoud, wijzigingsvoorstellen, bugfixing). Ook is onderhoud op het AI-model nodig door performance degradatie en als de productieomgeving (waarin het model actief is) verandert (interface wijzigingen, andere apparatuur). Door de incrementele manier van agile ontwikkeling (net zoals bij software) komen er veel nieuwe versies in een kort tijdsbestek beschikbaar. Het gecombineerde effect is dat er sprake is van steeds snellere ontwikkel- en onderhoudscycli. Dit vereist (nog meer dan bij software) nauwkeurige monitoring tijdens de gebruiksfase en directe feedback van de monitoring resultaten naar de ontwikkeling van een nieuwe modelversie.
  7. Meerdere versies die gelijktijdig in gebruik zijn.
    Resultaat van bovenstaande is dat er soms sprake is van meerdere modelversies die gelijktijdig in de productieomgeving actief zijn. Wanneer het slechts om een handvol AI-modellen gaat, kan het managen van de modellen en de bijkomende risico’s handmatig. Maar met de steeds snellere cycli groeit dat aantal steeds sneller. Als het aantal modellen dat in gebruik en in ontwikkeling is groeit, gaat dat niet meer handmatig en is speciale tooling nodig.
  8. Meer en nauwkeuriger versiebeheer.
    Centraal in het goed en verantwoord gebruik van AI, de uitlegbaarheid en de correcte werking staat de herleidbaarheid en aantoonbaarheid. Wat is de herkomst van alle data? Hoe is het getest, met welke datasets? Wie heeft eraan gewerkt? Hoe is bias of overfitting voorkomen? En hoe presteert het model in de loop van de tijd? Daarvoor moet je als organisatie een flink aantal gegevens bijhouden. 

De implementatie van AI Lifecycle Management is essentieel voor veilige zorg. Alle Lifecycle Management activiteiten hebben hier een bijdrage aan. Dit vraagt binnen de zorginstelling om organisatie. Hoe eerder in het proces deze bewustwording aanwezig is, aandacht krijgt en ondersteund wordt, hoe eenvoudiger het proces van ontwikkeling en inkoop naar veilige implementatie en gebruik wordt. 

AI Lifecycle Management in de zorg

De zorg legt extra eisen op aan de AI Lifecycle Management activiteiten. Met de toepassing van AI in de zorg wordt de AI-oplossing in het algemeen gezien als medisch hulpmiddel. Daardoor moet de AI-oplossing voldoen aan de Medical Device Regulation (MDR) en het convenant medische technologie. Beide stellen specifieke eisen in de gehele lifecycle van de oplossing. 

  • Medical Device Regulation
    Wordt de oplossing gebruikt voor diagnostische en/of therapeutische doeleinden (eventueel in combinatie met andere apparaten) dan is volgens de MDR de classificatie IIa, IIb of zelfs III (in de Medical Device Directive (MDD) nog klasse I). Ten opzichte van de eerder MDD wordt de classificatie, en daaraan verbonden eisen van de toepassing strenger. Classificatie speelt een rol tijdens de ontwikkel-/verwervingsfase. Het zelf ontwikkelen van een AI-oplossing is niet zomaar toegestaan, ook als de oplossing alleen voor eigen gebruik is. Men moet eerst aantonen en documenteren dat er geen oplossing op de markt beschikbaar is die voldoet2. Bij eigen ontwikkeling (of co-creatie) moet een zorginstelling voldoen aan alle wet- en regelgeving waar een fabrikant ook aan moet voldoen, en bij zelfontwikkeling tevens aan CE certificering en Post Market Surveillance3
  • DPIA is verplicht en een AI Impact Assessment wordt aanbevolen.
    De extra dimensie die data toevoegt aan AI ten opzichte van software, de wet- en regelgeving rond ‘Responsible AI’ en de AVG  (medische gegevens zijn bijzondere persoonsgegevens) vereist dat een DPIA altijd nodig is. Een AI Impact Assessment (AIIA - waaronder ook een ethische validatie) is nog niet verplicht maar wel aan te raden. Bij elke nieuwe versie (nieuwe cyclus) dient men te overwegen of een nieuwe DPIA en AIIA nodig is. Zeker als er sprake is van een andere patiëntenpopulatie of een gebruik van andere dataelementen.
  • Archiveringsplicht
    Als er afscheid genomen wordt van een AI-oplossing moet een zorginstelling vanuit de archiveringsplicht nagaan welke gegevens en wat er van het model bewaard moet worden. Hier is op dit moment nog geen specifieke wetgeving voor of ervaring mee (moet trainingsdata en monitoring rapportages – op welke basis en wanneer heeft men het model opnieuw getraind – bewaard worden?).

AI Lifecycle Management is een ingewikkeld proces. De betrokken competenties binnen AI Lifecycle Management zijn in de zorg verdeeld over diverse rollen, binnen verschillende afdelingen. Het mandaat voor beslissingen ligt ook verspreid terwijl beslissingen die genomen moeten worden in veel gevallen meerdere afdelingen raken. Daarvoor zijn goede afspraken over taken en verantwoordelijkheden nodig en vereist het een bepaald procesvolwassenheidsniveau

1 Hoewel de grondlegging van AI in de jaren ’40 – ’50 van de vorige eeuw was, waren de AI-toepassingen tot voor kort oplossingen waarin de kunstmatige intelligentie in standaard software regels was geprogrammeerd. Daarmee verschilden de oplossingen niet fundamenteel van andere “standaard” softwareprogramma’s. Met de toevoeging van de dataprocessing zijn systemen nu zelflerend geworden.

2 Zie handreiking nieuwe regelgeving medische hulpmiddelen

3 Een Post Market Surveillance (PMS) is de verzameling van activiteiten die een fabrikant structureel moet uitvoeren om te controleren of de prestaties van het product voldoen aan de gestelde eisen voor kwaliteit en veiligheid, oftewel, of het product doet waar het voor gemaakt is en veilig gebruikt kan worden. PMS is essentieel om de kwaliteit en de veiligheid van medische hulpmiddelen te waarborgen.

AI Lifecycle Management in de zorg: fases, activiteiten en stakeholders

De plaat 'AI Lifecycle Management in de zorg' geeft een overzicht van de AI Lifecycle Management fases, de activiteiten aan en betrokkenheid van verschillende expertises die nodig zijn.



Terug naar het overzicht

Wilt u aan de slag met succesvolle AI-implementatie binnen uw organisatie?

Ga naar de AI-Routekaart

Gerelateerde publicaties

Zorgorganisaties stellen zich geregeld de vraag of de organisatie van de informatievoorziening nog passend is bij de behoeften vanuit de organisatie. Vanuit onze adviespraktijk zien we dat veel discussies hierover zich binnen organisaties herhalen én over organisaties heen vergelijkbaar zijn. Jeroen van Oostrum en Pien Nijpjes hebben hun kennis gebundeld in een whitepaper en beschrijven deze algemeen geldende principes en trends.

Lees verder

De toepassingen van Artificiële Intelligentie variëren van laag risico tot hoog risico. Eind april publiceerde de Europese commissie een voorstel voor een verordening voor risicovolle Artificiële Intelligentie. Wat houdt dit in en wat betekent dit in de praktijk?

Lees verder