Courbe ROC et seuil optimal : le guide pour votre thèse

Sensibilité, spécificité, VPP et VPN

Évaluer un test diagnostique, c'est confronter son résultat (positif ou négatif) à la vérité, établie par un examen de référence : l'anatomopathologie, l'imagerie, l'évolution. On range les patients dans un tableau à quatre cases : vrais positifs (VP), faux positifs (FP), faux négatifs (FN) et vrais négatifs (VN).

La sensibilité et la spécificité décrivent le test lui-même. Les valeurs prédictives décrivent ce que vaut un résultat pour le patient en face de vous : ce sont elles qui intéressent le clinicien, mais elles sont plus fragiles.

Pourquoi VPP et VPN dépendent de la prévalence

Un même test, avec la même sensibilité et la même spécificité, n'a pas la même VPP aux urgences d'un CHU et en consultation de ville. Plus la maladie est rare, plus les faux positifs pèsent lourd parmi les tests positifs, et plus la VPP chute. Avec une sensibilité de 85,0 % et une spécificité de 75,6 % (les valeurs de l'exemple plus bas) :

Conséquence directe : VPP et VPN ne se lisent pas directement dans le tableau d'une étude cas-témoins. Si vous avez recruté 50 malades et 50 témoins, la « prévalence » de 50 % de votre échantillon est fixée par vous, pas par la réalité. Les valeurs prédictives calculées sur ce tableau ne veulent rien dire. Donnez-les seulement si votre échantillon reflète la population visée (patients consécutifs, recrutement exhaustif sur une période), ou recalculez-les par le théorème de Bayes à partir d'une prévalence publiée, en le précisant.

Construire et lire la courbe ROC

Quand le test est une mesure continue (CRP, troponine, score clinique), chaque seuil donne un couple sensibilité-spécificité différent. Abaisser le seuil augmente la sensibilité mais diminue la spécificité, et inversement. La courbe ROC (receiver operating characteristic) montre ce compromis pour tous les seuils à la fois :

• en abscisse : 1 − spécificité (la proportion de faux positifs chez les non-malades) ;
• en ordonnée : la sensibilité ;
• chaque point de la courbe correspond à un seuil ;
• la diagonale représente un test qui ne fait pas mieux que le hasard.

Plus la courbe se rapproche du coin supérieur gauche (sensibilité de 100 %, aucun faux positif), meilleur est le test. Une courbe collée à la diagonale signale un marqueur sans valeur diagnostique.

L'aire sous la courbe (AUC)

L'aire sous la courbe (AUC, ou ASC en français) résume la courbe en un nombre entre 0 et 1. Elle a une lecture simple : c'est la probabilité qu'un malade tiré au hasard ait une valeur du marqueur plus élevée qu'un non-malade tiré au hasard. Une AUC de 0,80 signifie que le marqueur classe correctement 8 paires malade/non-malade sur 10.

Présentez toujours l'AUC avec :

• son intervalle de confiance à 95 %, qui dit avec quelle précision elle est estimée ;
• la valeur de p du test qui la compare à 0,5 (le hasard). Un p < 0,05 dit seulement que le marqueur fait mieux que le hasard, pas qu'il est bon.

D'autres grilles existent, avec des bornes et des mots un peu différents. Choisissez-en une, citez sa référence dans votre Matériel et méthodes, et tenez-vous-y dans toute la thèse.

Choisir le seuil optimal

L'indice de Youden

La méthode la plus utilisée en thèse est l'indice de Youden : J = sensibilité + spécificité − 1. On le calcule pour chaque seuil et on retient celui qui le maximise. Il donne le même poids aux faux positifs et aux faux négatifs. Sur la courbe, c'est le point le plus éloigné de la diagonale.

Les alternatives

• Un seuil publié : si une recommandation ou une étude de référence propose un seuil, testez-le. Vos résultats seront comparables à la littérature.
• Priorité à la sensibilité : pour un dépistage, ou pour écarter un diagnostic grave, mieux vaut ne rater presque aucun malade. On choisit alors le seuil qui donne, par exemple, une sensibilité d'au moins 90 %, quitte à perdre en spécificité.
• Priorité à la spécificité : pour confirmer un diagnostic avant un traitement lourd, on cherche au contraire à limiter les faux positifs.

Le choix doit être annoncé dans le Matériel et méthodes et justifié cliniquement. Un seuil « rond » choisi sans raison n'est pas défendable devant le jury.

Un exemple chiffré complet

Prenons une étude fictive : 150 enfants admis consécutivement aux urgences pour douleur abdominale aiguë, dont 60 ont une appendicite confirmée (prévalence de 40 %). On évalue la CRP à l'admission. Le tableau ci-dessous donne, pour quelques seuils, la sensibilité, la spécificité et l'indice de Youden.

L'indice de Youden est maximal au seuil de 30 mg/L. Voici le tableau 2 × 2 correspondant :

• Sensibilité = 51 / 60 = 85,0 % (IC 95 % 73,9 – 91,9).
• Spécificité = 68 / 90 = 75,6 % (IC 95 % 65,8 – 83,3).
• VPP = 51 / 73 = 69,9 %.
• VPN = 68 / 77 = 88,3 %.
• Youden = 0,850 + 0,756 − 1 = 0,606.

Supposons que SPSS donne une AUC de 0,874 (IC 95 % 0,812 – 0,936 ; p < 0,001). La discrimination est excellente selon la grille ci-dessus. Les intervalles de confiance de la sensibilité et de la spécificité sont ici calculés par la méthode de Wilson, adaptée aux proportions. Les VPP et VPN sont interprétables parce que les patients sont consécutifs : dans un cas-témoins, on s'arrêterait à la sensibilité et à la spécificité.

Si l'objectif était de ne manquer aucune appendicite, le seuil de 20 mg/L (sensibilité 91,7 %) serait plus logique, au prix de davantage de faux positifs (spécificité 61,1 %).

Comparer deux marqueurs

Vous voulez savoir si la CRP fait mieux que le taux de leucocytes, mesuré chez les mêmes enfants ? Comparer les deux AUC « à l'œil », ou vérifier si leurs intervalles de confiance se chevauchent, ne suffit pas. Les deux mesures viennent des mêmes patients : leurs AUC sont corrélées. Le test le plus utilisé est le test de DeLong, qui tient compte de cet appariement et donne une valeur de p pour la différence entre les deux aires.

Sur la figure, superposez les deux courbes, une couleur par marqueur, avec la diagonale en pointillés et l'AUC de chaque courbe dans la légende.

Faire la courbe ROC sous SPSS

1. Vérifiez le codage de la variable d'état (le diagnostic de référence) : par exemple 1 = appendicite, 0 = pas d'appendicite.
2. Ouvrez le menu Analyse > Courbe ROC (selon la version, il peut se trouver sous Analyse > Classification).
3. Placez le marqueur (CRP) en variable de test et le diagnostic en variable d'état. Indiquez la valeur de la variable d'état qui désigne les malades (ici 1).
4. Cochez l'affichage de la courbe ROC, la ligne de référence diagonale, l'erreur standard avec l'intervalle de confiance, et les points de coordonnées de la courbe.
5. Dans les options, vérifiez le sens du test : par défaut, une valeur plus élevée est considérée comme plus en faveur de la maladie. Pour un marqueur qui baisse chez les malades (albumine, plaquettes), inversez ce réglage.
6. Lisez le tableau de l'aire sous la courbe : l'aire, son erreur standard, la signification asymptotique (le p contre 0,5) et l'intervalle de confiance à 95 %.
7. Copiez le tableau des coordonnées dans Excel, ajoutez une colonne Sensibilité − (1 − Spécificité) : la valeur maximale désigne le seuil de Youden.
8. Pour le tableau 2 × 2, créez une variable binaire (CRP ≥ 30 ou non) par recodage, puis croisez-la avec le diagnostic dans un tableau croisé.

SPSS propose comme seuils les valeurs situées à mi-chemin entre deux valeurs observées (par exemple 29,5 mg/L). Retenez un seuil cliniquement utilisable et recalculez la sensibilité et la spécificité à ce seuil exact, par le tableau croisé.

La procédure Courbe ROC classique ne compare pas deux aires entre elles. Les versions récentes de SPSS proposent une procédure d'analyse ROC qui permet la comparaison de deux courbes mesurées chez les mêmes patients : vérifiez ce que propose votre version.

Rédiger le M&M et les Résultats

Dans la partie Analyse statistique du Matériel et méthodes, une ou deux phrases suffisent. Pour l'ensemble de ce paragraphe, voyez notre guide pour rédiger l'analyse statistique du Matériel et méthodes.

« La capacité de la CRP à l'admission à distinguer les enfants avec et sans appendicite a été évaluée par l'aire sous la courbe ROC (ASC), présentée avec son intervalle de confiance à 95 % (IC 95 %) et interprétée selon la grille de Hosmer et Lemeshow (réf.). Le seuil optimal a été celui qui maximisait l'indice de Youden (sensibilité + spécificité − 1). La sensibilité, la spécificité et les valeurs prédictives ont été calculées à ce seuil. »

Dans les Résultats, sans commentaire ni comparaison à la littérature :

« L'ASC de la CRP pour le diagnostic d'appendicite aiguë était de 0,874 (IC 95 % 0,812 – 0,936 ; p < 0,001). Le seuil optimal selon l'indice de Youden était de 30 mg/L, avec une sensibilité de 85,0 % (IC 95 % 73,9 – 91,9), une spécificité de 75,6 % (IC 95 % 65,8 – 83,3), une valeur prédictive positive de 69,9 % et une valeur prédictive négative de 88,3 %. »

Pour la mise en forme de la figure et du tableau des performances, suivez les règles de notre guide pour présenter les résultats de votre thèse.

Les erreurs fréquentes

• Choisir le seuil sur les données de l'étude sans le dire. Un seuil de Youden calculé sur votre échantillon y donne en général des performances optimistes : annoncez-le et citez ce point dans les limites.
• Obtenir une AUC inférieure à 0,5 et l'interpréter. C'est le plus souvent une variable inversée : mauvais sens du test dans les options, ou codage de la variable d'état à l'envers.
• Calculer une VPP et une VPN sur le tableau d'une étude cas-témoins.
• Prendre un p < 0,05 pour une preuve de bonne performance : une AUC de 0,62 peut être significative sur un grand effectif et rester faible.
• Comparer deux marqueurs mesurés chez les mêmes patients par le chevauchement des intervalles, au lieu du test de DeLong.
• Donner la sensibilité et la spécificité sans intervalle de confiance, ou sans préciser le seuil.
• Oublier les patients sans valeur du marqueur : précisez l'effectif réellement analysé.

La courbe ROC ne sert pas qu'aux marqueurs biologiques : elle mesure aussi la discrimination d'un score ou d'un modèle de régression logistique. Les mêmes règles de lecture et de rédaction s'appliquent.