Courbe ROC et calculateur AUC - Évaluation d’un classifieur binaire
Tests statistiques avancés
Saisissez ci-dessous les scores de prédiction de votre modèle et les étiquettes réelles pour générer une courbe ROC et calculer l’aire sous la courbe (AUC).
Courbe ROC et calculateur AUC - Évaluation d’un classifieur binaire
Tests statistiques avancés
Entrez une observation par ligne au format 'score,label'. Les étiquettes doivent être 0 ou 1. Exemple : 0.9,1
À propos du calculateur de courbe ROC et d’AUC
La courbe ROC (Receiver Operating Characteristic) est un outil graphique permettant d’évaluer la capacité de discrimination d’un modèle de classification binaire sur tous les seuils de décision possibles. Elle trace le taux de vrais positifs (TPR, ou sensibilité) sur l’axe des y par rapport au taux de faux positifs (FPR, ou 1 − spécificité) sur l’axe des x, lorsque le seuil de décision varie du plus élevé au plus faible.
La sensibilité (TPR) est la proportion de positifs réels correctement identifiés : TPR = TP / (TP + FN). La spécificité est la proportion de négatifs réels correctement identifiés : Spécificité = TN / (TN + FP). Le FPR = 1 − Spécificité = FP / (TN + FP). Un classifieur parfait passerait par le coin supérieur gauche (FPR = 0, TPR = 1), tandis que la courbe ROC d’un classifieur aléatoire suit la diagonale de (0,0) à (1,1).
L’aire sous la courbe ROC (AUC) résume la performance globale de classification en un seul scalaire. Une AUC de 1.0 représente une discrimination parfaite ; 0.5 représente l’absence de discrimination (équivalente au hasard). Conventionnellement : AUC ≥ 0.9 est excellente, 0.8–0.9 bonne, 0.7–0.8 passable, et en dessous de 0.7 faible.
Ce calculateur calcule l’AUC à l’aide de la règle des trapèzes, qui intègre l’aire sous la courbe ROC en escalier. Il identifie également le seuil de décision optimal à l’aide de la statistique J de Youden (J = sensibilité + spécificité − 1), qui maximise la somme de la sensibilité et de la spécificité et fournit un point d’équilibre.
Les courbes ROC et l’AUC sont des métriques standard d’évaluation en diagnostic médical (où les classifieurs distinguent les patients malades des patients sains), en apprentissage automatique (évaluation des modèles de classification binaire) et en scoring de crédit. Contrairement à l’exactitude, l’AUC est insensible au déséquilibre des classes, ce qui la rend particulièrement utile lorsque les cas positifs sont rares.
Cet outil accepte toute liste de paires score-étiquette. Les scores peuvent être des probabilités, des valeurs logit ou toute mesure de classement continue. Les étiquettes doivent être 0 (classe négative) ou 1 (classe positive). Le tableau des résultats affiche tous les points de fonctionnement ROC, avec la ligne du seuil optimal mise en évidence pour un repérage facile.
Exemples de courbe ROC
Ces exemples montrent comment les valeurs d’AUC correspondent à différents niveaux de performance du classifieur.
| Paires Score, Étiquette | AUC | Interprétation |
|---|---|---|
| 0.9,1 / 0.8,1 / 0.3,0 / 0.2,0 | AUC = 1.0 | Classifieur parfait |
| 0.9,1 / 0.8,1 / 0.75,1 / 0.6,0 / 0.55,1 / 0.45,0 / 0.4,0 / 0.35,0 | AUC ≈ 0.9375 | Discrimination excellente |
| 0.9,0 / 0.8,1 / 0.7,0 / 0.6,1 / 0.5,0 / 0.4,1 | AUC ≈ 0.33 | Classement inversé — pire que le hasard |
Comment utiliser ce calculateur
- Entrez une observation par ligne au format 'score,label', où score est une prédiction numérique et label est 0 ou 1.
- Assurez-vous que vos données contiennent à la fois des exemples positifs (label=1) et négatifs (label=0).
- Cliquez sur 'Calculer' pour calculer l’AUC et générer les points de la courbe ROC.
- Consultez la valeur de l’AUC et son interprétation qualitative (excellente, bonne, passable ou faible).
- Repérez la ligne du seuil optimal (mise en évidence dans le tableau) pour le meilleur compromis sensibilité/spécificité.
Questions fréquentes
Qu’est-ce que l’AUC et pourquoi est-ce important ?
L’AUC (aire sous la courbe ROC) mesure la capacité d’un classifieur à classer les instances positives au-dessus des instances négatives sur tous les seuils. Elle est indépendante du seuil et robuste au déséquilibre des classes, ce qui en fait une référence standard pour les modèles de classification binaire en médecine, en apprentissage automatique et en finance.
Que signifie une AUC de 0.5 ?
Une AUC de 0.5 signifie que le classifieur ne fait pas mieux que le hasard — il classe les instances positives et négatives de manière aléatoire. Toute AUC inférieure à 0.5 suggère que le classifieur se trompe systématiquement, et inverser ses prédictions donnerait une performance supérieure au hasard.
Comment le seuil optimal est-il sélectionné ?
Ce calculateur utilise la statistique J de Youden (J = sensibilité + spécificité − 1) pour sélectionner le seuil optimal. Elle maximise la somme de la sensibilité et de la spécificité, fournissant un point d’équilibre. D’autres critères, comme la minimisation du coût ou la maximisation du score F1, peuvent donner des seuils optimaux différents selon l’application.
L’AUC peut-elle être utilisée pour la classification multiclasse ?
L’AUC standard est définie pour la classification binaire. Pour les problèmes multiclasse, on peut calculer une AUC one-vs-rest pour chaque classe séparément, ou rapporter une AUC macro-moyenne ou pondérée. Ce calculateur ne prend en charge que la classification binaire (étiquettes 0 et 1).
Quelle est la différence entre sensibilité et spécificité ?
La sensibilité (rappel ou TPR) mesure la capacité du classifieur à détecter les vrais positifs : TP / (TP + FN). La spécificité mesure sa capacité à éviter les fausses alertes : TN / (TN + FP). Une sensibilité élevée est cruciale lorsqu’un cas positif manqué coûte cher (par exemple, le dépistage de maladies). Une spécificité élevée est importante lorsque les faux positifs coûtent cher (par exemple, les tests de confirmation).
L’AUC est-elle toujours la meilleure métrique pour évaluer un modèle ?
L’AUC est excellente pour comparer des modèles à travers les seuils et pour les jeux de données déséquilibrés, mais ce n’est pas toujours le meilleur choix. Pour des données très déséquilibrées, l’AUC précision-rappel (PR-AUC) est souvent plus informative. Pour un seuil de décision spécifique, des métriques comme le F1-score, l’exactitude ou le coefficient de corrélation de Matthews peuvent être plus pertinentes.