34 · Studiendesign zur Validierung klinischer KI-Systeme

Klinischer Aufhänger

Dein Sepsis-Vorhersagemodell hat retrospektiv eine beeindruckende AUC von 0,89 erzielt. Nun soll das System als klinisches Entscheidungsunterstützungssystem (CDSS) auf der Intensivstation eingeführt werden und Ärzt:innen per SMS warnen. Der Chefarzt fragt: „Verbessert dieses System tatsächlich das Überleben der Patient:innen oder führt es nur zu mehr Fehlalarmen und zusätzlichem Stress?“ Um diese Frage zu beantworten, musst du eine klinische Studie konzipieren, die über rein statistische Metriken hinausgeht.

1 Prospektive vs. Retrospektive Validierung

Ein Modell, das auf historischen Daten hervorragend abschneidet, kann im echten Klinikalltag aus mehreren Gründen versagen:

• Dataset Shift: Die Patient:innenpopulation oder Dokumentationspraxis hat sich seit der Datensammlung verändert.
• Fehlende Interaktion: Retrospektive Daten zeigen nicht, wie Ärzt:innen reagieren, wenn sie einen Alarm erhalten.
• Klinischer Nutzen: Eine hohe AUC bedeutet nicht automatisch, dass Patient:innen früher behandelt werden oder seltener sterben.

2 Der Schattenbetrieb (Silent Deployment)

Bevor eine KI Patient:innen beeinflusst, sollte sie im Schattenbetrieb (Silent Deployment) laufen.

• Das Modell erhält Live-Daten aus dem Krankenhausinformationssystem (KIS, z. B. via FHIR-Schnittstelle) und berechnet Risikoscores.
• Niemand sieht diese Scores – weder Pflegende noch Ärzt:innen. Es erfolgt keine Intervention.
• Die Scores und die tatsächlichen klinischen Outcomes werden protokolliert.

Nutzen des Schattenbetriebs

1. Technische Validierung: Läuft die Pipeline stabil und ohne relevante Verzögerung?
2. Prospektive Baseline: Entspricht die prospektive AUC der retrospektiven?
3. Kalibrierungs-Check: Stimmen die vorhergesagten Wahrscheinlichkeiten auch im Live-Betrieb?

Hinweis – die Codeblöcke unten sind Auszüge. Sie zeigen die entscheidenden Schritte, nicht jede Import-Zeile. Das vollständige, am Stück lauffähige Skript ist code/python.py (im Browser über den Python-Reiter oben). In Colab führst du das ganze Modul mit einer Zeile aus: !python module/34-design-ki-studien/code/python.py – siehe das in Colab öffnen.

# Fit once on the development patients and freeze the model; then the true
# risk drifts: log-odds of death +0.15 per month at every feature profile,
# simulated by giving each observed death the weight exp(delta).
# Full code: code/python.py (function simulate_drift()).
model = sm.GLM(y_dev, X_dev, family=sm.families.Binomial()).fit()
p = np.asarray(model.predict(X_test))        # identical in every month
for month in range(7):
    w = np.where(y_test == 1, np.exp(0.15 * month), 1.0)
    observed = np.sum(w * y_test) / np.sum(w)
    predicted = np.sum(w * p) / np.sum(w)
    auc = roc_auc_score(y_test, p, sample_weight=w)
    print(month, round(observed / predicted, 3), round(auc, 3))   # O:E rises, AUC does not

code/python.py und code/r.R liefern identische Zahlen (Auszug):

Im Monat 0 ist das Modell gut kalibriert (O:E ≈ 1, Steigung ≈ 1). Danach bleibt die AUC unverändert, weil sich an der Rangfolge der Patient:innen nichts ändert, und auch die Kalibrierungs-Steigung bleibt nahe 1. Gestört ist die Kalibrierung im Mittel (calibration-in-the-large): Nach sechs Monaten sterben 1,67-mal so viele Patient:innen, wie das Modell erwartet. Das mittlere vorhergesagte Risiko steigt leicht mit, weil unter den zusätzlichen Todesfällen Hochrisikoprofile häufiger sind; die beobachtete Sterblichkeit wächst aber deutlich schneller. Ein AUC-Monitoring allein hätte nichts gemeldet; ein Abgleich von beobachteter und erwarteter Ereignisrate zeigt eine von Monat zu Monat wachsende Lücke (bei kleinen Fallzahlen pro Monat allerdings mit breitem Unsicherheitsband). Weil nur das Niveau verschoben ist, würde hier eine Neuschätzung des Intercepts (Rekalibrierung) genügen.

3 Bias-Quellen im klinischen Einsatz

Bei der Interaktion zwischen Mensch und Maschine treten spezifische psychosoziale und methodische Effekte auf:

• Automation Bias: Das blinde Vertrauen in die Maschine. Ärzt:innen übersehen eigene klinische Warnsignale, weil die KI „grünes Licht“ gibt.
• Spectrum Bias: Das Modell wurde an schwerkranken Intensivpatient:innen trainiert, wird aber nun auf einer Normalstation eingesetzt, wo das Patient:innenspektrum völlig anders ist. Der Anteil der Fehlalarme an allen Alarmen steigt drastisch (der positive Vorhersagewert sinkt), schon weil die Prävalenz niedriger ist; zusätzlich verschieben sich im anderen Spektrum meist auch Sensitivität und Spezifität.
• Alarm-Müdigkeit (Alert Fatigue): Wenn 90 % der Alarme Fehlalarme sind, ignorieren Ärzt:innen das System irgendwann komplett – auch die echten Warnungen.

4 Studiendesigns für klinische KI

Um den echten Nutzen nachzuweisen, reichen statistische Modelltests nicht. Es braucht interventionelle Studien:

1. Vorher-Nachher-Vergleich: Einfach zu implementieren, aber anfällig für historische Trends (z. B. Einführung neuer Leitlinien zeitgleich mit der KI).
2. Cluster-randomisierte Studien (cRCT): Die Randomisierung erfolgt nicht pro Patient:in (da Ärzt:innen sich durch das System beeinflussen lassen und dieses Wissen auf alle Patient:innen übertragen), sondern pro Station oder Klinik. Station A nutzt das System, Station B arbeitet standardmäßig.
3. Nicht-Unterlegenheits-Studien: Nachweis, dass der Einsatz der KI die Behandlungsqualität zumindest nicht verschlechtert, aber z. B. Ressourcen schont.

Wann du Hilfe holst. Der Sprung von retrospektiver AUC zur prospektiven Wirksamkeitsstudie ist ein eigenes Studiendesign mit eigener Fallzahl, Randomisierung und Ethikvotum – hol Biostatistik, Studienmethodik und Ethikkommission an Bord, bevor ein CDSS am Krankenbett Alarme auslöst.

Fallstricke und Merksätze

Berichtsstandards nutzen: - TRIPOD+AI: Für die Entwicklung und Validierung des Algorithmus. - DECIDE-AI: Für die Evaluation in frühen klinischen Phasen. - CONSORT-AI: Für randomisierte kontrollierte Studien mit KI-Beteiligung; das zugehörige Studienprotokoll folgt SPIRIT-AI.

Selbstcheck