L'équité comme signifiant consensuel : diagnostic partagé, remèdes incompatibles

Item

Titre de la relation / annotation: L'équité comme signifiant consensuel : diagnostic partagé, remèdes incompatibles
Argument de l'annotation: Le mot équité figure dans le nom même de l'initiative, Responsible AI for Safe and Equitable Health. James Landay, codirecteur du Stanford Institute for Human-Centered Artificial Intelligence, le pose comme principe fondateur dès les remarques d'ouverture : le développement et le déploiement d'une intelligence artificielle sûre, équitable et responsable en santé exigent davantage qu'une prouesse technique et appellent une démarche interdisciplinaire réunissant de multiples parties prenantes. L'énoncé n'est assorti d'aucun seuil ni d'aucun indicateur. Trois façons de nommer ce que l'équité désigne se succéderont au fil de la journée, incompatibles entre elles, sans que le programme les mette jamais en présence.

L'équité est d'abord posée comme un problème d'accès. Dans la conférence d'ouverture, menée sous forme d'entretien avec la journaliste Kate Rooney, Eric Horvitz, directeur scientifique de Microsoft, décrit le comité de thérapie du cancer, où chirurgien·nes, radio-oncologues, oncologues et pathologistes examinent ensemble un même dossier. Environ vingt millions de nouveaux cancers surviennent chaque année et à peine 1 % font l'objet d'un tel examen, ordinaire à Stanford mais hors de portée des hôpitaux communautaires et des établissements d'autres pays. L'objectif énoncé est de démocratiser la technologie. L'inégalité tient ici à la rareté de l'excellence, ce que l'outil résout en se répandant. Kimberly Lomis, vice-présidente aux innovations en formation médicale à l'American Medical Association, reprendra ce vocabulaire de démocratisation dans le panel consacré à la main-d'œuvre biomédicale. Interrogée sur le coût et sur le passage à l'échelle hors des grands systèmes de santé, elle dit s'inquiéter de la concentration que montre la carte de Langlotz et concède n'avoir pas de solution à ce problème. Elle se rallie ensuite à l'idée de centres régionaux qui mutualiseraient des ressources coûteuses au bénéfice d'établissements qui n'y auraient pas accès autrement.

L'équité est ensuite posée comme un problème de données. Dans la session de bilan intitulée What We've Learned in a Year, Curtis Langlotz, directeur du Center for Artificial Intelligence in Medicine and Imaging de Stanford, montre que les jeux d'entraînement des modèles d'imagerie proviennent de trois États, le Massachusetts, New York et la Californie, si bien que ces modèles ne donnent pas nécessairement la bonne réponse pour l'Idaho, le Minnesota ou la Floride. Il propose comme remède une collecte intentionnellement diversifiée, financée par les National Institutes of Health et l'ARPA-H. Dans la même session, Natalie Pageler, directrice de l'informatique de la santé à Stanford Medicine Children's Health, déplace ce registre vers les populations négligées : parmi les dispositifs autorisés étiquetés pour usage pédiatrique, 18 % seulement décriraient la population sur laquelle ils ont été validés, et nombre d'entre eux n'emploient aucune donnée pédiatrique.

Ces deux définitions se contredisent au cours de la même matinée. Ce que Horvitz propose de diffuser, Langlotz vient d'établir que cela ne se généralise pas hors de trois États. Diffuser un outil non généralisable ne réduit donc pas l'inégalité, cela l'étend.

L'équité est enfin posée comme un symptôme structurel. Sanmi Koyejo, professeur d'informatique à Stanford et directeur du Stanford Trustworthy AI Research, intervient lui aussi dans la session de bilan et défait la prémisse commune aux deux positions précédentes. Il rappelle que le retrait de l'ajustement racial de l'équation du débit de filtration glomérulaire estimé, en 2021, a produit des effets mesurables : chez les personnes noires, une baisse moyenne de 10 % des valeurs et 18 % des mesures reclassées vers des stades plus sévères. Or les taux d'orientation vers la néphrologie et de consultation dans cette spécialité, eux, sont restés identiques. Koyejo en tire que les algorithmes sont une partie de la solution sans pouvoir en être la totalité, et qu'un changement systémique s'impose. L'étude de Cusick et coll. (2024), dont il tire ces chiffres, va plus loin que son exposé : le délai médian entre l'orientation et la consultation passe de 32 jours en 2019 à 100 jours en 2023. Pendant qu'on corrige l'équation, la file d'attente triple.

Ce cas ne se contente pas de compléter les deux précédents, il conteste de l'intérieur le cadrage de neutralité algorithmique qui traverse le récit. Il établit que le calcul n'était pas neutre, puisqu'il a fallu le corriger, et qu'une fois corrigé il ne change rien.

Le symposium fait ainsi coexister trois causes distinctes et trois remèdes qui ne peuvent être satisfaits ensemble, sans qu'à aucun moment le programme ne les confronte. Star et Griesemer (1989) nomment objet-frontière ce qui est assez plastique pour s'adapter aux besoins locaux de chaque groupe et assez robuste pour garder une identité commune d'un site à l'autre, ce qui permet la coopération sans consensus. Le mot équité joue ce rôle : sa faible détermination est ce qui permet à des mondes qui ne s'accordent pas de travailler ensemble sans avoir à trancher.

L'incompatibilité ne relève pas seulement d'une lecture extérieure au récit. L'article que Koyejo affiche à l'écran, Wang et coll. (2024), énonce que l'équité est hautement contextuelle et rappelle les théorèmes d'impossibilité selon lesquels deux mesures raisonnables d'équité ne peuvent être satisfaites simultanément. Ce résultat formel est donc cité sur la scène même du symposium.

La suite du même exposé fait apparaître une contradiction interne au dispositif. Koyejo critique les palmarès d'équité, qui classent les modèles selon un score unique et perdent le contexte dont l'équité dépend. Il propose de leur substituer des suites de bancs d'essai, c'est-à-dire des collections d'épreuves associant chacune un jeu de données et une mesure, de façon à exposer les compromis plutôt qu'à les fondre dans un rang. Or la composition d'une telle suite est elle-même un choix : il faut décider quels préjudices y figurent, selon quelles mesures et selon quel point de vue. L'article le reconnaît, notant que les suites existantes sont souvent assemblées par commodité et selon l'accès aux données, et admettant qu'un classement établi qualitativement par des expert·es puisse constituer un palmarès spécialisé pour une application donnée. La critique de la quantification débouche ainsi sur une quantification plus fine, et l'arbitrage revient aux mêmes personnes.

Deux nuances doivent être apportées. Un colloque qui juxtapose des positions fait son travail, et la critique porte moins sur leur coexistence que sur sa présentation comme consensus. Il faut aussi créditer la journée d'une procédure : David Magnus, titulaire de la chaire Thomas A. Raffin en médecine et éthique biomédicale à Stanford, décrit dans le panel de clôture le comité d'examen éthique et sociétal du HAI, appliqué à toutes les subventions RAISE, qui examine en amont les conséquences qui peuvent découler d'un projet. Il rappelle que les comités d'éthique de la recherche n'ont pas ce mandat, le leur portant sur les risques encourus par les personnes qui participent à l'étude. Le cadre d'évaluation que Stanford Health Care s'est donné en 2024, dont l'acronyme FURM signifie fair, useful, reliable and measurable et dont la première étape est un examen éthique destiné à repérer les désaccords de valeurs, n'est quant à lui pas mentionné une seule fois, alors qu'il gouverne toutes les nouvelles adoptions d'intelligence artificielle de l'établissement.

Magnus donne enfin à l'équité sa limite : les modèles construits pour rendre l'intelligence artificielle plus équitable pourraient, entre de mauvaises mains, être ajustés pour la rendre moins équitable, ce qui ne serait pas difficile et des acteurs y auraient intérêt. Le remède partage alors sa technique avec le préjudice qu'il prétend corriger.
Mot clé(s) associé(s): Biais algorithmique; Enjeux sociaux; IA médicale; Réfutation; Santé; Structure argumentative
Le contenu à relier (ressource physique, actant, conceptuelle): RAISE Health Symposium 2025
E-mail de la personne ayant créé cette relation / annotation: Dominique Michaud