Une nouvelle étude réalisée par Ignacio Atal, chercheur associé du CRI, et ses collaborateurs de la Manchester Metropolitan University, au Royaume-Uni, a été publiée dans le BMJ-Open. L’article montre que les chercheurs qui développent des outils d’apprentissage automatique pour le diagnostic médical ne rapportent pas correctement les méthodes qu’ils ont utilisées dans leur recherche. Ce résultat appelle à un renforcement des normes de déclaration de la recherche afin d’améliorer la reproductibilité et la transparence de l’apprentissage automatique dans le domaine de la santé.
Au cours de la dernière décennie, l’accès à de grandes quantités de données cliniques a entraîné une augmentation de l’application des méthodes d’apprentissage automatique à la médecine, et en particulier au diagnostic médical. Sur la base de grandes quantités de données de patients avec un diagnostic donné (par exemple, des photos de peau avec l’étiquette “cancer de la peau” ou “pas de cancer de la peau”), les chercheurs entraînent des machines à effectuer automatiquement ces tâches de diagnostic. Une machine apprend à poser un diagnostic en imitant le diagnostic effectué dans ces grandes quantités de données. Par exemple, si vous donnez à la machine entraînée une photo de peau d’un nouveau patient, la machine dira que le patient a un cancer de la peau si la base de données contient une photo de peau similaire avec un diagnostic de cancer de la peau.
Si vous souhaitez vous fier à une telle machine pour effectuer un diagnostic médical, il est nécessaire de connaître les caractéristiques des données utilisées pour former la machine, telles que les caractéristiques des patients, comment et qui a effectué le diagnostic réel, d’où proviennent les données, etc. Sans cette connaissance, il est impossible 1) de reproduire ces études et 2) d’être sûr que ces résultats s’appliquent à tous les contextes.
Dans cette étude systématique, Ignacio et ses collaborateurs ont analysé 28 articles de recherche médicale publiés qui font état du développement et de l’évaluation de systèmes de diagnostic basés sur l’apprentissage automatique. Ils ont évalué pour chaque article dans quelle mesure les auteurs rapportent les caractéristiques des données des patients utilisées pour entraîner leurs machines. Ils ont montré qu’une grande partie des articles ne contenait pas suffisamment de détails sur les caractéristiques des participants, ce qui rendait difficile la reproduction, l’évaluation et l’interprétation des résultats de l’étude.
Les études diagnostiques utilisant des méthodes de ML ont un grand potentiel pour améliorer la prise de décision clinique et soulager les systèmes de santé. Toutefois, les études dont les rapports sont insuffisants peuvent être plus problématiques qu’utiles. Dans le domaine de la recherche biomédicale, il existe déjà des cadres et des lignes directrices que les chercheurs en apprentissage automatique peuvent utiliser pour faciliter la rédaction de leurs rapports, mais la plupart d’entre eux ne les respectent pas. Nous espérons que ce travail incitera les chercheurs en apprentissage automatique dans le domaine de la santé à améliorer le compte rendu de leurs travaux afin d’accroître la transparence et la reproductibilité des résultats de la recherche.
Le texte intégral de l’étude est disponible ici.
