Ce document est un guide de lecture qui récapitule les questions que l’on doit se poser pour faire une évaluation critique d’un résultat d’essai thérapeutique.

  Validité interne

Le résultat est-il valide ? c’est-à-dire statistiquement réel et sans biais.

1.1 Réalité statistique du résultat

• La différence est-elle statistiquement significative ?

• Est-il possible d’exclure une inflation du risque alpha liée à une répétition des tests ?

• Le résultat avancé a-t-il été obtenu sur le critère de jugement principal à l’issu d’une seule comparaison statistique ?

• N’y a-t-il pas eu de mesures multiples du critère du jugement (mesures répétées) ?

• Le résultat avancé n’est-il pas issu d’une analyse en sous-groupe ?

• Si des analyses intermédiaires ont été réalisés, une méthode de contrôle de l’inflation du risque alpha a-t-elle été utilisée ?

1.2 Absence de biais

• 1.2.1 Prise en compte des facteurs de confusion : Existe-t-il un groupe contrôle ?

• L’effet du traitement est-il déterminé par rapport à ce groupe contrôle ?

• 1.2.2 Randomisation : Est-il possible d’éliminer un biais de sélection ?

• Les patients ont-ils été réparti de façon aléatoire entre les groupes de traitements ?

• Est-ce que la méthode de randomisation garantie l’imprévisibilité du traitement ?

• Est-ce que les groupes sont initialement comparables ?

• 1.2.3 Insu : Est-il possible d’éliminer un biais de réalisation ou de mesure ?

• L’essai a-t-il été réalisé en double-aveugle ?

Si l’essai est en double-aveugle, la nature du traitement attribué à chaque patient est-elle cachée de façon adéquate ?

Si l’essai a été réalisé en ouvert, le critère de jugement est-il un critère « dur » ?

• Les critères de jugement ont-ils été validés par une procédure centralisée et en aveugle ?

Est-ce que les arrêts de traitements, les déviations aux protocoles et les traitements concomitants ont été recueillis et sont convenablement documentés ?

• Le recours aux traitements concomitants a-t-il été aussi fréquent dans tous les groupes ?

• Les taux de déviation au protocole sont-ils similaires dans les deux groupes ?

Les taux d’arrêt du traitement de l’étude sont-ils similaires dans les deux groupes ?

• L’évaluation du critère de jugement est-elle faite de la même façon quel que soit le traitement reçu ?

• Le traitement est-il susceptible d’influencer sur la mesure du critère de jugement ?

• 1.2.4 Sorties d’essai, attrition : Est-il possible d’éliminer un biais d’attrition ?

• L’analyse a-t-elle été réalisée en intention de traiter (pour un essai de supériorité) ?

• Le nombre de patients analysés est-il identique au nombre de patients randomisés ?

• Qu’elle est la robustesse du résultat vis-à-vis de l’hypothèse du biais maximum ?

• Est-ce qu’une méthode de remplacement des données manquantes a été utilisée ?

1.3 Validité méthodologique

• Ce résultat est-il issu d’une démarche hypothético-déductive ? Ce n’est pas un résultat post-hoc et tautologique.

• L’hypothèse testée a-t-elle été formulée a priori ?

• L’objectif de l’essai est-il clairement précisé dans l’introduction ?

  2 Cohérence externe

• Le résultat est-il confirmé par d’autres ?

• La méta-analyse de ces essais montre-t-elle une absence d’hétérogénéité ?

• Le résultat est-il cohérent avec les connaissances fondamentales (physiopathologique, études d’observation, etc.) ?

  3 Pertinence clinique

Le résultat représente-t-il un bénéfice clinique intéressant en pratique et est-il représentatif des patients vus en pratique ?

• Critère de jugement  : Le critère de jugement est-il pertinent cliniquement et correspond-il à l’objectif thérapeutique du traitement ?

• Taille de l’effet  : Le résultat de l’essai correspond-il à un effet suffisamment important au point de vue clinique ?

La précision de l’estimation est-elle suffisante pour éliminer un effet trop petit pour être cliniquement pertinent ?

• Patients inclus  : La définition de la pathologie utilisée dans l’essai est-elle conforme aux critères diagnostics habituels ?

Les patients sont-ils représentatifs de ceux qui sont vus en pratique médicale courante ?

Y a-t-il eu une sélection excessive sur le sexe, l’âge, les comorbidités, etc ?

(À juger à partir de la définition des critères d’inclusion et d’exclusion et à partir de la description de la population incluse)

• Traitements comparés  :

• L’effet a-t-il été déterminé par rapport à un comparateur adapté, placebo ou traitement de référence validé ?

• Si l’essai est contre placebo, existe-t-il vraiment aucun traitement ayant fait la preuve de leur efficacité contre placebo ?

• Si l’essai est contre traitement de référence, ce traitement a-t-il montré son efficacité dans des essais thérapeutiques ?

• Dans un essai avec un traitement contrôle actif, ce traitement a-t-il été utilisé de façon optimale ?

• Traitements concomitants  : Le traitement a-t-il été utilisé dans un contexte de soins similaires à celui de la pratique quotidienne ?

• Effets indésirables et balance bénéfice risque  : La balance bénéfice risque est acceptable ?

** Document reproduit avec l’aimable autorisation du Dr Michel CUCHERAT de l’Université Laennec de Lyon.