ROC-Kurve- und AUC-Rechner - Bewertung binärer Klassifikatoren
Fortgeschrittene statistische Tests
Geben Sie unten die Vorhersagescores und wahren Labels Ihres Modells ein, um eine ROC-Kurve zu erzeugen und die Fläche unter der Kurve (AUC) zu berechnen.
ROC-Kurve- und AUC-Rechner - Bewertung binärer Klassifikatoren
Fortgeschrittene statistische Tests
Geben Sie eine Beobachtung pro Zeile im Format 'score,label' ein. Labels müssen 0 oder 1 sein. Beispiel: 0.9,1
Über den ROC-Kurve- und AUC-Rechner
Die Receiver Operating Characteristic (ROC)-Kurve ist ein grafisches Werkzeug zur Bewertung der Trennfähigkeit eines binären Klassifikationsmodells über alle möglichen Entscheidungsschwellen hinweg. Sie trägt die True-Positive-Rate (TPR, bzw. Sensitivität) auf der y-Achse gegen die False-Positive-Rate (FPR, bzw. 1 − Spezifität) auf der x-Achse auf, während sich die Entscheidungsschwelle von hoch nach niedrig verändert.
Sensitivität (TPR) ist der Anteil der tatsächlich positiven Fälle, die korrekt identifiziert werden: TPR = TP / (TP + FN). Spezifität ist der Anteil der tatsächlich negativen Fälle, die korrekt identifiziert werden: Specificity = TN / (TN + FP). FPR = 1 − Specificity = FP / (TN + FP). Ein perfekter Klassifikator würde durch die linke obere Ecke gehen (FPR = 0, TPR = 1), während die ROC-Kurve eines Zufallsklassifikators auf der Diagonalen von (0,0) nach (1,1) liegt.
Die Fläche unter der ROC-Kurve (AUC) fasst die Gesamtleistung der Klassifikation in einem einzigen Skalar zusammen. Eine AUC von 1.0 steht für perfekte Trennschärfe; 0.5 steht für keine Trennschärfe (entspricht Zufallsraten). Üblicherweise gilt: AUC ≥ 0.9 ist hervorragend, 0.8–0.9 ist gut, 0.7–0.8 ist mäßig und unter 0.7 ist schwach.
Dieser Rechner berechnet die AUC mit der Trapezregel, die die Fläche unter der stufenförmigen ROC-Kurve integriert. Er bestimmt außerdem den optimalen Entscheidungsschwellenwert mithilfe von Youdens J-Statistik (J = sensitivity + specificity − 1), die die Summe aus Sensitivität und Spezifität maximiert und einen ausgewogenen Betriebspunkt liefert.
ROC-Kurven und AUC sind Standardmetriken in der medizinischen Diagnostik (wenn Klassifikatoren Kranke von Gesunden trennen), im Machine Learning (Bewertung binärer Klassifikationsmodelle) und im Kredit-Scoring. Im Gegensatz zur Accuracy ist AUC unempfindlich gegenüber Klassenungleichgewicht und daher besonders wertvoll, wenn positive Fälle selten sind.
Dieses Tool akzeptiert jede Liste von Score-Label-Paaren. Scores können Wahrscheinlichkeiten, Logit-Werte oder andere kontinuierliche Rangwerte sein. Labels müssen 0 (negative Klasse) oder 1 (positive Klasse) sein. Die Ergebnistabelle zeigt alle ROC-Betriebspunkte, wobei die Zeile mit dem optimalen Schwellenwert zur besseren Orientierung hervorgehoben wird.
ROC-Kurve Beispiele
Diese Beispiele zeigen, wie AUC-Werte verschiedenen Leistungsniveaus des Klassifikators entsprechen.
| Score-Label-Paare | AUC | Interpretation |
|---|---|---|
| 0.9,1 / 0.8,1 / 0.3,0 / 0.2,0 | AUC = 1.0 | Perfekter Klassifikator |
| 0.9,1 / 0.8,1 / 0.75,1 / 0.6,0 / 0.55,1 / 0.45,0 / 0.4,0 / 0.35,0 | AUC ≈ 0.9375 | Hervorragende Trennschärfe |
| 0.9,0 / 0.8,1 / 0.7,0 / 0.6,1 / 0.5,0 / 0.4,1 | AUC ≈ 0.33 | Umgekehrte Rangfolge — schlechter als Zufall |
So verwenden Sie diesen Rechner
- Geben Sie eine Beobachtung pro Zeile im Format 'score,label' ein, wobei score eine numerische Vorhersage und label 0 oder 1 ist.
- Stellen Sie sicher, dass Ihre Daten sowohl positive (label=1) als auch negative (label=0) Beispiele enthalten.
- Klicken Sie auf 'Berechnen', um die AUC zu berechnen und die ROC-Kurvenpunkte zu erzeugen.
- Prüfen Sie den AUC-Wert und seine qualitative Einordnung (hervorragend, gut, mäßig oder schwach).
- Suchen Sie die hervorgehobene Zeile mit dem optimalen Schwellenwert, um den besten Kompromiss zwischen Sensitivität und Spezifität zu finden.
Häufig gestellte Fragen
Was ist AUC und warum ist sie wichtig?
AUC (Area Under the ROC Curve) misst die Fähigkeit eines Klassifikators, positive Instanzen über alle Schwellen hinweg höher als negative zu ranken. Sie ist schwellenunabhängig und robust gegenüber Klassenungleichgewicht, weshalb sie ein Standard-Benchmark für binäre Klassifikationsmodelle in Medizin, Machine Learning und Finanzwesen ist.
Was bedeutet eine AUC von 0.5?
Eine AUC von 0.5 bedeutet, dass der Klassifikator nicht besser ist als Zufallsraten — er ordnet positive und negative Instanzen zufällig ein. Jede AUC unter 0.5 deutet darauf hin, dass der Klassifikator systematisch falsch liegt, und eine Umkehr seiner Vorhersagen würde eine überzufällige Leistung ergeben.
Wie wird der optimale Schwellenwert ausgewählt?
Dieser Rechner verwendet Youdens J-Statistik (J = sensitivity + specificity − 1), um den optimalen Schwellenwert zu wählen. Sie maximiert die Summe aus Sensitivität und Spezifität und liefert einen ausgewogenen Betriebspunkt. Andere Kriterien wie Kostenminimierung oder Maximierung des F1-Scores können je nach Anwendung andere optimale Schwellenwerte ergeben.
Kann AUC für Multi-Class-Klassifikation verwendet werden?
Die Standard-AUC ist für binäre Klassifikation definiert. Für Multi-Class-Probleme kann für jede Klasse separat eine One-vs-Rest-AUC berechnet oder eine Makro- bzw. gewichtete Durchschnitts-AUC berichtet werden. Dieser Rechner unterstützt nur binäre Klassifikation (Labels 0 und 1).
Was ist der Unterschied zwischen Sensitivität und Spezifität?
Sensitivität (Recall oder TPR) misst, wie gut der Klassifikator echte Positive erkennt: TP / (TP + FN). Spezifität misst, wie gut er Fehlalarme vermeidet: TN / (TN + FP). Hohe Sensitivität ist entscheidend, wenn das Übersehen eines positiven Falls teuer ist (z. B. bei Krankheitsscreenings). Hohe Spezifität ist wichtig, wenn False Positives teuer sind (z. B. bei Bestätigungstests).
Ist AUC immer die beste Kennzahl für die Modellevaluation?
AUC ist hervorragend für den Vergleich von Modellen über Schwellen hinweg und für unausgewogene Datensätze, aber nicht immer die beste Wahl. Bei stark unausgeglichenen Daten ist die Precision-Recall-AUC (PR-AUC) oft aussagekräftiger. Für einen bestimmten Entscheidungsschwellenwert können Kennzahlen wie F1-Score, Accuracy oder Matthews-Korrelationskoeffizient relevanter sein.