Nederlandstalige samenvatting door Monique Timmermans van het originele artikel door Peter Simons – 10 maart 2025
In een recente studie gebruikten onderzoekers een machine learning-model om te voorspellen welke psychiatrische patiënten een diagnose van schizofrenie of bipolaire stoornis zouden krijgen. Het enige probleem: het is mislukt. Het model had het ongeveer 90% van de tijd bij het verkeerde eind als het een positief resultaat gaf.
Bovendien kwamen de beste voorspellingsgegevens bij het integreren van klinische notities in het model. Dat betekent dat zelfs deze jammerlijke mislukking afhankelijk was van de aantekeningen die al waren gemaakt door een bekwame clinicus die de specifieke tekenen van naderende schizofrenie of bipolaire stoornis reeds had waargenomen. Een deel van de tekst die het meest voorspellend was: “stemmen” en “opname”, wat aangeeft dat de clinicus al had waargenomen dat de persoon stemmen hoorde en al had aanbevolen om hem in het ziekenhuis op te nemen.
Andere voorspellende gegevens omvatten de medicijnen die worden ingenomen, dat wil zoveel zeggen als dat iemand die al antipsychotica krijgt voorgeschreven volgens het model een mogelijk hoger risico loopt om te worden gelabeld met schizofrenie.
Is het een “voorspelling” om te raden dat iemand van wie al is vastgesteld dat hij stemmen hoort en daarvoor in het ziekenhuis wordt opgenomen en medicijnen krijgt, de diagnose schizofrenie zou kunnen krijgen? En als dat model het ook nog eens 90% van de tijd fout heeft, is dat dan nuttig?
Volgens de onderzoekers wel. Ze schrijven:
“Deze bevindingen suggereren dat het detecteren van progressie naar schizofrenie door middel van machine learning op basis van routinematige klinische gegevens haalbaar is, wat de diagnostische vertraging en de duur van onbehandelde ziekten kan verminderen”,
De meest relevante statistieken: De PPV (positief-voorspellende waarde) voor schizofrenie was 10,8%. Dit betekent dat een positief resultaat onjuist zou zijn voor 9 van de 10 patiënten in een echte kliniek. De AUC (area under the curve) op de testdataset was 0,64, wat aangeeft dat het model het weinig beter deed dan ‘het toeval’. Volgens onderzoekers is een AUC van 0,80 of hoger vereist om klinisch bruikbaar te zijn.
Vreemd genoeg lijken de onderzoekers zich niet te realiseren dat hun model is mislukt. Ze schrijven dat hun studie aantoont dat het “haalbaar” is om machine learning te gebruiken om schizofrenie te voorspellen. Ze raden zelfs aan om het positieve testresultaat aan clinici te laten zien om hen te waarschuwen voor het risico!
“De positieve voorspellingen van het model moeten automatisch aan het personeel worden gepresenteerd via het EPD-systeem, waardoor interventie op het niveau van de individuele patiënt mogelijk is”, schrijven ze.
Nogmaals, onthoud dat een positieve voorspelling in 90% van de gevallen onjuist was.
De studie
In de huidige studie gebruikten Hansen en de andere onderzoekers gegevens uit het elektronisch patiëntendossier (EPD) van alle patiënten (15-60 jaar oud) die tussen 2013 en 2016 minstens twee keer psychiatrische diensten in Midden-Denemarken hadden bezocht. In totaal hadden ze gegevens van 24.449 patiënten.
De onderzoekers creëerden een dataset om hun machine learning-model te trainen met behulp van gegevens van alle ziekenhuizen, behalve twee. Deze twee locaties waren gereserveerd om het model te testen om te zien hoe goed het presteerde als het eenmaal was getraind. Het doel was om te zien of het model kon voorspellen welke patiënten – die al werden gezien voor psychische problemen – een diagnose van schizofrenie of bipolaire stoornis zouden krijgen.
Een van de belangrijkste statistieken om in gedachten te houden bij het evalueren van een klinisch voorspellingsmodel is de PPV (positief-voorspellende waarde). Als het algoritme een positief resultaat geeft – in de echte wereld – hoe vaak is het dan correct?
In de huidige studie was de PPV voor schizofrenie 10,8%. Dit betekent dat als de test positief terugkomt – wat betekent dat een persoon zogenaamd een verslechterende geestelijke gezondheid zal hebben die zich ontwikkelt tot schizofrenie – die testuitslag in ongeveer 90% van de gevallen onjuist is.
De PPV voor bipolaire stoornis was nog erger, namelijk 8,4%. Dat wil zeggen, 92 van de 100 positieve resultaten verkeerd zouden zijn.
Wanneer het model werd gebruikt om een verslechtering van de geestelijke gezondheid in het algemeen te voorspellen (inclusief zowel schizofrenie als bipolaire stoornis), had het model een PPV van 13,0%, wat betekent dat 87 van de 100 positieve resultaten niet juist zouden zijn.
Nog een statistiek die geen succes bleek te zijn: toen ze het algoritme eenmaal uit de dataset haalden, het was getraind, en het op andere gegevens losgelaten werd, had het een AUC (gebied onder de curve) van 0,64 (willekeurige kans is 0,50, terwijl een perfecte voorspelling 1 is). Onderzoekers hebben gesuggereerd dat een AUC van ten minste 0,80 vereist is om klinisch bruikbaar te zijn.
Alle de geteste patiënten werden al gezien in gespecialiseerde psychiatrische klinieken, dus zelfs deze niet best voorspellende kracht kan een overschatting zijn. Hoe goed zou dit model voorspellen voor degenen die bijvoorbeeld om andere redenen in de eerstelijnszorg worden gezien?
De onderzoekers vergeleken de voorspellende waarde van hun model niet met die van clinici. Er wordt derhalve niet erkend dat deze clinici misschien al herkend hadden dat de patiënten risico liepen op ernstige psychische problemen en actie ondernomen hadden om hen proberen te helpen.
Vergeet niet dat het meest voorspellende deel van het model was wanneer het woorden als “stemmen” en “opname” in de klinische notities identificeerde. Dit geeft aan dat een clinicus deze symptomen al opmerkte en al het hoogste behandelingsniveau aanbeval.
De onderzoekers, allemaal aan de Universiteit van Aarhus, Denemarken, werden geleid door Lasse Hansen. De studie werd gepubliceerd in JAMA Psychiatry.
***Gepubliceerd op Mad in America, 10 maart 2025. Vertaald door MitN***
Hansen, L., Bernstorff, M., Enevoldsen, K., Kolding, S., Damgaard, J. G., Perfalk, E., . . . & Østergaard, S. D. (2025). Predicting diagnostic progression to schizophrenia or bipolar disorder via machine learning. JAMA Psychiatry. Published online February 19, 2025. doi:10.1001/jamapsychiatry.2024.4702 [Full text]
