Generator für Modellkalibrierungsplots

Was zeigt ein Model Calibration Plot (Kalibrierungskurve)?

Ein Model Calibration Plot vergleicht vorhergesagte Wahrscheinlichkeiten mit den tatsächlich beobachteten Ereignisraten. Ein perfekt kalibriertes Modell verläuft exakt auf der Winkelhalbierenden (Identitätslinie); systematische Abweichungen zeigen eine Über- oder Unterschätzung des Risikos, selbst wenn Diskriminierungsmetriken (wie AUC) hervorragend aussehen.

Datenanforderungen für den Calibration-Plot-Generator

• Eine Zeile pro Fall mit einer vorhergesagten Wahrscheinlichkeit zwischen 0 und 1 sowie dem tatsächlich beobachteten binären Outcome (0 oder 1).
• Optionale Spalte für Modell, Kohorte, Fold oder Subgruppe für vergleichende Kurven.
• Nutzen Sie ausschließlich Daten eines unabhängigen Test- oder Validierungssets, keine Trainingsdaten.
• Bei bereits aggregierten Daten: Spalten für mittlere vorhergesagte Wahrscheinlichkeit, beobachteten Anteil und Stichprobengröße pro Bin.

Anwendungsbeispiele aus der Forschung für Calibration Plots

• Reliability-Diagramm für klinische Risiken
• Kalibrierung eines binären Klassifikators
• Kalibrierungskurve mit Brier-Score
• Kalibrierung eines ML-Modells
• Vergleich mehrerer Modellkalibrierungen
• Kalibrierung der Ausfallwahrscheinlichkeit

Warum die Modellkalibrierung analysieren?

• Überprüfen, ob ein prognostiziertes Risiko von 20 % tatsächlich etwa 20 Ereignissen pro 100 vergleichbaren Fällen entspricht.
• Modelle identifizieren, die zwar Fälle gut klassifizieren (Ranking), aber unzuverlässige absolute Wahrscheinlichkeiten liefern.
• Interne, temporale und externe Validierungskohorten direkt vergleichen.
• Unsicherheiten und dünn besetzte Wahrscheinlichkeitsbereiche vor dem klinischen oder operativen Einsatz transparent machen.

So verwenden Sie Generator für Modellkalibrierungsplots

Wählen Sie ein Beispiel oder laden Sie eine CSV-, TSV-, TXT-, XLSX- oder XLS-Datei hoch. Prüfen Sie die erkannten Spalten, erzeugen Sie das Diagramm und bearbeiten Sie es in SciVis. Bei Excel wird das erste Tabellenblatt verwendet.

Elemente eines präzisen Calibration Plots

• Vorhergesagte Wahrscheinlichkeit auf der X-Achse und beobachtete Häufigkeit auf der Y-Achse.
• Die 45-Grad-Referenzlinie für ideale Kalibrierung.
• Häufigkeitsangaben pro Bin, ein Rug-Plot oder eine andere Visualisierung der Datenverteilung.
• Statistisch fundierte Konfidenzintervalle oder Glättungskurven (z. B. LOESS).

Calibration Plot oder ROC-Kurve?

Ein Calibration Plot prüft, ob die numerischen Wahrscheinlichkeitswerte mathematisch verlässlich sind. Eine ROC-Kurve bewertet die Trennschärfe (Ranking) über verschiedene Schwellenwerte hinweg. Ein Modell kann einen sehr hohen AUC-Wert aufweisen und dennoch extrem schlecht kalibriert sein – beide Abbildungen beantworten daher komplementäre Fragen.