Comment valider un modèle prédictif en santé

Étape 1

Définir l’usage, la population et le moment de prédiction

Avant le choix d’un algorithme, il faut décrire précisément la décision soutenue par le modèle. Une prédiction ne se juge pas de la même façon si elle sert à prioriser une revue interne, orienter un examen complémentaire ou structurer une analyse de recherche.

Questions minimales

• Quelle population est concernée et dans quel environnement ?
• Quel résultat le modèle prédit-il, avec quelle définition de référence ?
• À quel moment les prédicteurs sont-ils réellement disponibles ?
• Quelle décision doit être améliorée et par qui ?
• Quelle erreur est la plus coûteuse dans ce contexte ?
• Quel comparateur représente la pratique ou la règle actuelle ?

Point de contrôle : si l’usage ne peut pas être formulé sans parler de l’algorithme, le projet est probablement encore insuffisamment cadré.

Étape 2

Prévenir les fuites de données

Une fuite apparaît lorsqu’une information qui ne serait pas disponible au moment réel de la prédiction influence l’entraînement ou l’évaluation. Elle peut produire une performance artificiellement élevée sans erreur apparente dans le code.

Sources fréquentes

• Le même patient, examen ou épisode apparaît dans plusieurs jeux.
• Une variable est mesurée après l’événement que le modèle doit prédire.
• Imputation, normalisation, sélection de variables ou augmentation sont apprises avant la séparation.
• Le choix des hyperparamètres utilise indirectement le jeu de test.
• Des métadonnées techniques identifient le site, l’appareil ou la classe cible.

Toute transformation qui apprend des paramètres doit être ajustée sur les données d’entraînement, puis appliquée sans réapprentissage aux jeux de validation et de test. Le pipeline complet, pas seulement l’algorithme final, doit respecter cette séparation.

Étape 3

Choisir une séparation cohérente avec le risque de généralisation

Une division aléatoire ligne par ligne est rarement suffisante lorsque plusieurs observations appartiennent au même patient, au même site ou à la même période. La séparation doit reproduire le changement que le modèle rencontrera après le développement.

• Par patient : toutes les observations d’une personne restent dans le même jeu.
• Par temps : les données futures évaluent un modèle construit sur une période antérieure.
• Par site ou appareil : un établissement, un centre ou une technologie non vus teste le transfert.
• Externe : une source réellement indépendante mesure l’applicabilité dans un nouveau contexte.

La validation croisée peut aider à estimer la variabilité interne, mais elle ne remplace pas une évaluation externe lorsque la décision dépend du transfert vers d’autres conditions.

Étape 4

Comparer le modèle à une baseline pertinente

Un modèle complexe doit être comparé à une référence compréhensible : règle actuelle, score existant, modèle linéaire, prédiction de la classe majoritaire ou heuristique métier. Sans baseline, il est impossible de savoir si la complexité apporte une valeur réelle.

La comparaison doit utiliser la même population, la même cible, les mêmes jeux et les mêmes métriques. Une amélioration statistique faible peut ne pas compenser une perte de transparence, un coût de données ou une difficulté d’intégration.

Étape 5

Mesurer discrimination, calibration et conséquences du seuil

La discrimination mesure la capacité à classer les individus ou observations. La calibration examine si les probabilités annoncées correspondent aux fréquences observées. Ces deux dimensions répondent à des questions différentes et doivent être examinées ensemble lorsqu’un modèle produit un risque.

Choisir selon la décision

• AUC ROC et, lorsque les classes sont déséquilibrées, aire sous la courbe précision-rappel (AUPRC), à interpréter selon la prévalence et l’usage prévu
• Sensibilité, spécificité, valeurs prédictives et taux d’alertes à un ou plusieurs seuils opérationnels
• Courbe de calibration, pente, ordonnée à l’origine et score de Brier lorsque le modèle produit des probabilités
• Intervalles d’incertitude pour éviter de surinterpréter une différence instable

Une métrique globale ne suffit pas à choisir un seuil. La prévalence, la capacité de traitement des alertes et le coût relatif des erreurs modifient directement la lecture opérationnelle.

Étape 6

Vérifier la robustesse et les sous-groupes pertinents

La moyenne peut masquer des échecs concentrés sur une population, un site, un appareil ou une qualité de données particulière. Les sous-groupes doivent être choisis avant l’analyse selon l’usage, les risques et les variables disponibles — pas uniquement après avoir observé un résultat défavorable.

• Sites, périodes, appareils ou protocoles d’acquisition
• Classes d’âge ou autres caractéristiques pertinentes pour l’usage
• Niveaux de prévalence, de gravité ou de qualité des données
• Données manquantes, cas atypiques et conditions dégradées

Un écart apparent peut aussi provenir d’un petit effectif. Il faut donc présenter l’incertitude et éviter d’interpréter chaque différence comme un biais établi.

Étape 7

Analyser les erreurs et l’incertitude

L’analyse d’erreurs relie la performance agrégée à des cas concrets. Elle doit rechercher des structures : erreurs liées à la qualité des données, à une population, à un contexte technique, à une cible ambiguë ou à un déplacement de distribution.

À documenter

• Typologie des faux positifs et faux négatifs
• Cas proches du seuil et stabilité de la décision
• Observations hors distribution ou insuffisamment représentées
• Désaccords entre annotateurs ou incertitude sur la cible
• Limites de l’interprétabilité et hypothèses non vérifiables

L’objectif n’est pas de justifier chaque prédiction après coup, mais de comprendre quand le modèle est susceptible de ne plus soutenir correctement la décision.

Étape 8

Tester la reproductibilité du pipeline complet

Une évaluation n’est exploitable que si les données, le code, les versions et les paramètres permettent de reconstruire les résultats. La reproductibilité doit couvrir la préparation des données, l’entraînement, le choix du modèle et le calcul des métriques.

• Versions du code, des dépendances, des données et du modèle
• Traçabilité des exclusions, transformations et variables dérivées
• Graines aléatoires et répétition lorsque l’entraînement est instable
• Configuration de l’environnement et commandes d’exécution
• Rapport généré à partir des sorties du pipeline plutôt que par copie manuelle

Étape 9

Relier les résultats à une décision explicite

Le protocole doit aboutir à une recommandation compréhensible. Trois issues sont généralement possibles : poursuivre vers une évaluation plus large, recadrer les données ou l’usage, ou arrêter le périmètre testé.

Cette décision scientifique et technique ne remplace pas les validations cliniques, organisationnelles, réglementaires et de sécurité éventuellement nécessaires.

Étape 10

Checklist d’audit d’un modèle prédictif en santé

Repères méthodologiques

Deux cadres complémentaires

TRIPOD+AI fournit des recommandations pour rendre compte de façon complète et transparente du développement ou de l’évaluation d’un modèle prédictif construit par régression ou par des méthodes de machine learning. Il s’agit d’un cadre de reporting, pas d’un outil d’évaluation de la qualité.

PROBAST+AI structure l’examen de la qualité du développement, du risque de biais, de l’applicabilité et de l’équité d’un modèle prédictif. Ses domaines couvrent notamment les participants et sources de données, les prédicteurs, la cible et l’analyse.