Geographic Distribution of US Cohorts Used to Train Deep Learning Algorithms

Item

Titre (article, livre complet, chapitre de livre, publication réseaux sociaux, pageWeb, SiteWeb complet, etc.): Geographic Distribution of US Cohorts Used to Train Deep Learning Algorithms
Auteur de la référence bibliograpique: Amit Kaushal, Russ Altman, Curt Langlotz
Date de publication (AAAA ou AAAA-MM-JJ): 2020-09-22
Résumé: Cette lettre de recherche décrit la répartition géographique des cohortes de patient·es utilisées pour entraîner les algorithmes d'apprentissage profond en imagerie diagnostique aux États-Unis.

Les auteurs partent d'un constat et d'une inquiétude. Les progrès de l'apprentissage profond ont produit des algorithmes dont l'exactitude, pour les tâches diagnostiques fondées sur l'image, s'approche de celle du personnel médical formé ou la dépasse. Ces algorithmes demeurent toutefois vulnérables aux biais cognitifs et techniques, notamment lorsque la quantité ou la diversité des données d'entraînement est insuffisante. L'étude examine une source de biais systémique jusque-là peu étudiée, l'origine géographique des cohortes.

Une recherche a été menée dans PubMed pour repérer les articles évalués par les pairs publiés entre le 1er janvier 2015 et le 31 décembre 2019 qui entraînaient un algorithme d'apprentissage profond à une tâche diagnostique fondée sur l'image et en comparaient les performances à celles de médecins, dans six disciplines : radiologie, ophtalmologie, dermatologie, pathologie, gastroentérologie et cardiologie. Seules les études recourant à au moins une cohorte états-unienne pour l'entraînement ont été retenues. Les cohortes servant uniquement à la validation ont été écartées.

Sur 2 606 études repérées, 74 satisfont aux critères : 35 en radiologie, 16 en ophtalmologie, 11 en dermatologie, 8 en pathologie, 2 en gastroentérologie et 2 en cardiologie. Cinquante-six d'entre elles, soit 76 %, ont entraîné leur algorithme sur au moins une cohorte géographiquement identifiable.

La concentration est marquée. Des cohortes californiennes apparaissent dans 22 de ces 56 études, soit 39 %, des cohortes du Massachusetts dans 15, soit 27 %, et des cohortes de l'État de New York dans 14, soit 25 %. Quarante études sur 56, soit 71 %, mobilisent une cohorte provenant d'au moins un de ces trois États. Parmi les 47 États restants, 34 n'ont fourni aucune cohorte, les autres en ayant fourni de une à cinq. La Pennsylvanie en compte 5 et le Maryland 4. Par ailleurs, 18 études sur 74, soit 24 %, reposent exclusivement sur des cohortes dites multisites, provenant d'études fédérales, d'essais cliniques couvrant cinq États ou plus, ou de dépôts industriels.

Les auteurs concluent que la Californie, le Massachusetts et l'État de New York peuvent présenter des caractéristiques économiques, éducatives, sociales, comportementales, ethniques et culturelles non représentatives de l'ensemble du pays, et que des algorithmes entraînés principalement sur ces populations risquent de mal se généraliser. Pour des raisons de performance technique autant que d'équité et de justice, ils appellent le milieu de la recherche biomédicale, l'industrie et les organismes de réglementation à veiller à ce que les données d'entraînement reflètent les populations auxquelles les algorithmes seront appliqués.

Les auteurs déclarent plusieurs intérêts. Russ Altman se déclare cofondateur, conseiller et actionnaire de Personalis, et conseiller de plusieurs entreprises pharmaceutiques et de services de santé. Curt Langlotz se déclare membre du conseil d'administration et actionnaire de BunkerHill, conseiller et détenteur d'options auprès de quatre autres entreprises, et bénéficiaire d'un soutien institutionnel sous forme de subventions et de dons de GE Healthcare, Siemens Medical, Philips, Google, Carestream, IBM, IDEXX et Nines.
Numéro (revues scientifiques): 12
Volume (revues scientifiques): 324
Maison d'édition / Nom de la revue scientifique / Nom du site Web / Nom de l'institution universitaire (thèses) / Institution d'un rapport, etc.: JAMA
Intervalles des pages (articles): 1212-1213
Nombre de pages (livres): 2
Format, type de document (ex: image, publication textuelle, vidéo, etc.): Article en ligne, PDF
Quel type de publication sur réseau social (ex: statut Facebook, statut Twitter, etc.): Lettre de recherche
URL (adresse Web): https://doi.org/10.1001/jama.2020.12067

Media: kaushal geographic.png

Linked resources

Filter by resource type and property:

Items with "contenu scientifique: Geographic Distribution of US Cohorts Used to Train Deep Learning Algorithms"
Title	Class
RAISE Health Symposium 2025

Annotations

There are no annotations for this resource.