Le contexte

Des scores pronostic, prédictifs, ou dits de risque, on en calcule dans de nombreuses cohortes de patients. On pense au score Sokal ou ELTS pour la leucémie myéloïde chronique par exemple. Ils donnent une indication sur la gravité de l’état initial d’un patient, sur les risques qu’il encourt sur le plan individuel, et ce que cela peut entraîner en termes de rechute, survie à l’échelle d’une cohorte. Dans l’ensemble, ces scores synthétisent l’impact potentiel de plusieurs caractéristiques (âge, comorbidités, variable biologique anormale, présence d’un biomarqueur, etc.). Ce score numérique peut être converti en catégories (bas, intermédiaire et haut risque) et permet de stratifier les patients dans le cadre de thérapies.

La problématique

Pour qu’un score pronostic « fonctionne », il faut que celui-ci soit le plus possible reproductible d’une cohorte de patients à l’autre, que ce soit à l’échelle d’un centre ou nationale. Au-delà des méthodes et outils de plus en plus pointus qui existent pour en construire, il faut tenir compte à chaque étape  de l’enjeu principal qu’est sa reproductibilité. D’où la question : comment créer un nouveau score ?

La réponse

La première étape pour la création d’un score pronostic (sur la survie ou un autre endpoint), est d’être en présence d’une population de taille conséquente (plusieurs centaines d’individus) et très représentative. Cependant tous les centres n’accueillent pas les mêmes profils de patients. Point crucial : il faut
que le registre ou la base de données aient le moins de données manquantes possibles pour toutes les variables qui y sont intégrées. Si la database ressemble à un « gruyère », l’effectif étudié va se réduire et cela peut entraîner un biais de population. Trois conditions doivent être rassemblées : un effectif très important, une population la plus possible représentative et beaucoup de variables remplies à 100%.

Ensuite, il s’agit de trouver le meilleur modèle, celui qui peut expliquer le mieux l’endpoint analysé. Avant d’établir la méthodologie statistique, il convient de faire une pré-sélection de variables en amont. Quelles variables retenir parmi celles démographiques, la liste des morbidités, biomarqueurs, mutations, paramètres biologiques ? Cette question déterminante nécessite une discussion entre biostatisticiens et cliniciens. Le but sous-jacent est que les variables retenues puissent être recueillies dans la majorité des centres en routine.

La question cruciale est maintenant de déterminer quelles sont les variables, parmi toutes celles présentes dans notre jeu de données, qui maximisent la vraisemblance du modèle ou la capacité du modèle à obtenir l’endpoint observé. Il existe d’autres indicateurs statistiques comme le critère d’information d’Akaïke
(AIC), le R² pour les régressions linéaires généralisées, ou encore son équivalent : l’indice de concordance (alias le c-index) pour le modèle de Cox. Il s’agit de trouver la meilleure équation pour retrouver notre endpoint.

Plusieurs méthodes classiques permettent d’y parvenir, comme les algorithmes stepwise ou LASSO. Déjà très éprouvés, ils marchent sur tous types de régressions et peuvent déterminer le modèle multivarié ayant le plus de vraisemblance. Il existe d’autres manières d’affiner davantage ces modèles, en transformant les variables continues (au carré, cube, en log, etc.) ou en ajoutant des paramètres d’interactions. Une autre solution vient des algorithmes de machine learning, de plus en plus utilisés de nos jours. Plus poussés et élaborés, comme les conditional inference trees (qui détectent des profils avec un système d’arborescence) ou les réseaux de neurones, ils dépassent le cadre d’analyses multivariées habituelles. De nombreuses thématiques d’intelligence artificielle et de big data font aujourd’hui l’actualité et sont redoutablement efficaces.

Une fois le modèle établi, on peut commencer à déterminer son caractère prédictif avec la cross-validation, un outil puissant qui permet d’évaluer sa stabilité et sa pertinence. Le but est simple, mais peut se complexifier :
il s’agit de créer à partir de la partition de notre base de données, un sous-ensemble d’entraînement du modèle en question, puis d’en tester ses prédicateurs sur l’ensemble restant. Les prédicateurs ne sont autres que les estimations des coefficients de chaque variable ou probabilités du modèle. Les indicateurs, comme le R², c-index, ou même AUC et RMSE (racine de l’erreur quadratique moyenne), calculés à partir de cette cohorte de test, ils permettent d’évaluer la robustesse et les performances du modèle choisi et son caractère prédictif.

À présent, on peut enfin calculer son score de plusieurs manières. Les façons plus répandues étant soit :

1) d’additionner le nombre de facteurs de risque présents (méthode simple mais pas moins efficace), ou pour être le plus précis possible ;

2) calculer à partir des coefficients ou probabilités du modèle, ce qui reste la méthode la plus fine. Comme un score de propension, il s’agit d’une synthèse multifactorielle pour laquelle le modèle retenu sert de formule mathématique. La recherche de catégories de patients plus ou moins graves peut être déterminée par des courbes ROC ou des algorithmes d’arborescence pour déterminer une classification des patients basé sur le score obtenu.

L’étape ultime, pas toujours effectuée, est d’évaluer et de valider ce score sur une cohorte externe appelée aussi cohorte de validation. C’est cette dernière analyse, sur une toute autre population (provenant par exemple d’un jeu de données complet d’un centre ou registre différent), qui permet de valider et, si tout le processus s’est bien déroulé, d’attester de la reproductibilité de ce score pronostic.

Ce qu’il faut retenir

• Le score pronostic est la synthèse d’une combinaison de facteurs.
• Pour en créer, il faut disposer d’une modélisation avec la meilleure vraisemblance sur une cohorte la plus fournie et représentative possible.
• Si la cross-validation est incontournable avant de finaliser le choix du modèle, sa confirmation sur une cohorte de validation externe est tout aussi cruciale.

Pour aller plus loin

1. Eléments et outils de statistiques et machine learning : R², AUC et courbe ROC, c-index, cross-validation, RMSE, régressions linéaires généralisés ou de Cox, conditional inference trees, neural networks.
2. Henri et Eva Laude (2018). “Data scientist et langage R”.