Dissecting racial bias in an algorithm used to manage the health of populations

Item

Titre de l'article, la conférence ou du rapport: Dissecting racial bias in an algorithm used to manage the health of populations
Chercheur.e(s) ou institution(s) porteuse(s): Ziad Obermeyer; Brian Powers; Christine Vogeli; Sendhil Mullainathan
Date de publication ou diffusion: 2019-10-25
site web associé: https://www.science.org/doi/10.1126/science.aax2342
Résumez le document en un bref paragraphe (Type de technologies d'IA ?): L'article « Dissecting racial bias in an algorithm used to manage the health of populations » (Obermeyer, Powers, Vogeli et Mullainathan, Science, octobre 2019) est une étude empirique qui part d'une hypothèse à vérifier : un algorithme commercial de prédiction du risque, utilisé par les systèmes de santé états-uniens pour trier l'accès à un programme de gestion des cas complexes, traite-t-il équitablement les patients noirs et les patients blancs ?

Pour le vérifier, les auteurs disposent d'un accès rare aux données d'entrée, de sortie et à l'objectif de calcul de l'algorithme, ce qui leur permet de comparer les scores de risque prédits à des indicateurs de santé indépendants (biomarqueurs cliniques, nombre de maladies chroniques actives). Leur conclusion centrale : à score de risque identique, les patients noirs sont significativement plus malades que les patients blancs. Ce biais ne vient pas d'une erreur de calcul : l'algorithme prédit correctement ce qu'on lui demande de prédire, soit les coûts de santé futurs, utilisés comme approximation des besoins de santé. Le problème est, selon les résultats de la recherche, que ce proxy est mal choisi : à niveau de santé égal, moins d'argent est dépensé pour les patient.es noir.es. Il s'agit d'un écart que les auteurs attribuent à des barrières d'accès liées à la pauvreté ainsi qu'à des effets propres à l'usage des soins par des communautés distinctes, notamment une méfiance historique envers le système de santé et des biais dans la relation médecin-patient.

Cet écart de dépenses, non de besoins, fait paraître les patients noirs artificiellement en meilleure santé aux yeux de l'algorithme. Les auteurs chiffrent l'ampleur du problème (correction du proxy = la part de patients noirs identifiés pour un suivi accru passerait de 17,7 % à 46,5 %) et démontrent, par comparaison de labels alternatifs, que le choix de la variable à prédire est le facteur déterminant du biais.

Après publication, les auteurs ont établi une collaboration non rémunérée avec le fabricant de l'algorithme pour corriger le problème ; reformuler la variable prédite a réduit le biais de 84 %. L'article lui-même anonymise le système étudié, le présentant comme représentatif d'une catégorie d'outils appliqués à environ 200 millions de personnes par an aux États-Unis: c'est un reportage ultérieur (NY Regulators Probe for Racial Bias in Health-Care Algorithm, Government Technology, 2019 ; confirmé par la lettre conjointe du DFS et du DOH de New York à UnitedHealth Group, 25 octobre 2019) qui a identifié le système comme étant Impact Pro, d'Optum.
Quel est l'objectif du document?: L'article rend compte de l'audit empirique d'un dispositif algorithmique commercial, mené par une équipe de chercheur·es ayant obtenu un accès rare à ses données internes. L'objectif est de démontrer qu'un choix de conception apparemment neutre (prédire les coûts de santé futurs plutôt que les besoins de santé eux-mêmes) produit un effet néfaste mesurable sur l'accès aux soins des patients noirs par rapport aux patients blancs. Il s'agit ainsi de localiser le biais non pas dans les données ou dans la méthode statistique, mais dans la variable même que l'algorithme est entraîné à prédire, dans une visée corrective : permettre au fabricant d'ajuster son outil plutôt que de se limiter à en dénoncer les effets.
Figures narratives employées. Ex. : cerveau artificiel, assistant intelligent, compagnon, etc.): L'algorithme étudié se donne à lire successivement sous trois figures principales, qui ne s'excluent pas mais se déploient selon le niveau de risque du patient.

Au-dessus du 97e percentile de score, l'IA agit comme décideur : l'inscription au programme de gestion des cas complexes est automatique, sans intervention humaine. Entre le 55e et le 97e percentile, en revanche, le système se rapproche davantage de la figure de l'expert : il fournit des données contextuelles au médecin traitant, qui reste formellement libre d'inscrire ou non le patient. Cette figure d'expert consultatif est toutefois fragilisée par l'article lui-même, qui montre que les médecins redressent le biais racial de l'algorithme bien moins efficacement qu'un simple changement de variable prédite ne le ferait, suggérant que la marge de jugement humain, bien que préservée sur le plan formel, produit peu d'effet correctif réel face à la recommandation algorithmique.

C'est cependant la figure de la boîte noire qui structure le texte le plus profondément, non pas seulement comme thème, mais comme condition même de possibilité de l'article. Dès son ouverture, le texte pose un diagnostic : les algorithmes déployés à grande échelle sont typiquement propriétaires, ce qui contraint habituellement les chercheurs à travailler « de l'extérieur », par des contournements comme les études d'audit, sans jamais avoir accès aux données d'entraînement ni à l'objectif de calcul des systèmes qu'ils étudient. Or l'étude elle-même dément ce constat par sa propre existence : les auteurs bénéficient d'un accès rare aux entrées, aux sorties et à la fonction objectif de l'algorithme, l'exception qui rend visible la règle qu'ils dénoncent. La boîte noire n'est donc pas seulement thématisée, elle est mise en scène par la structure narrative même du texte, qui se présente comme le récit d'une ouverture rendue possible par un privilège d'accès rarement accordé. Cette tension trouve un prolongement plus discret : une fois à l'intérieur de la boîte, les auteurs choisissent néanmoins d'anonymiser le système étudié, rendant l'algorithme transparent pour eux-mêmes, mais pas nommément pour le lecteur, jusqu'à ce qu'un reportage ultérieur l'identifie comme étant Impact Pro, d'Optum.

Enfin, l'algorithme est aussi construit comme infrastructure : représentatif d'une catégorie d'outils appliqués, selon les estimations de l'industrie citées par les auteurs, à environ 200 millions de personnes par an aux États-Unis, et déployé, selon leurs propres mots, à l'insu de beaucoup : «By any standard—e.g., number of lives affected, life-and-death consequences of the decision health is one of the most important and widespread social sectors in which algorithms are already used at scale today, unbeknownst to many » (Obermeyer & al., 2019: 447). Cette figure d'infrastructure invisible complète les deux précédentes : un système qui décide ou conseille silencieusement, depuis une opacité que l'article a exceptionnellement pu percer, à une échelle qui dépasse largement le cas individuel qu'il documente.
Insérez une fiche analyse critique - annotation: Les labels et les proxys comme lieu du problème; L'opacité propriétaire comme obstacle épistémique; Généalogie des biais et non-nomination du racisme; La collaboration non rémunérée : réparation ou techno-optimisme ?
Insérez un template Outils au besoin: Impact Pro
Si les chercheu.res ont rendu disponibles des documents additionels: « Dissecting racial bias in an algorithm used to manage the health of populations »
contenu scientifique: Assessing risk, automating racism: A health care algorithm reflects underlying racial bias in society; https://www.chicagobooth.edu/-/media/project/chicago-booth/centers/caai/docs/algorithmic-bias-playbook-june-2021; Problem Formulation and Fairness; There is no such thing as race in health-care algorithms; Race After Technology : Abolitionist Tools for the New Jim Code
contenu culturel: Millions of black people affected by racial bias in health-care algorithms; How Racial Bias Infected a Major Health-Care Algorithm; Bias in a common health care algorithm disproportionately hurts black patients
listez les concepts et mots-clés: Algorithmes; Automatisation du soin; Biais algorithmique; Données d'entraînement; Éthique des données; IA médicale; Opacité; Prédiction; Santé; Santé numérique; Transparence; Mises en récit et Discours scientifiques
Autres fiches liées à celle ci qui vont apparaître dans le bas de la fiche sur edisem comme contenus recommandés: Enjeux du déploiement de l’intelligence artificielle en santé; Bienvenue à Gattaca (Andrew Niccol, 1997); Black Mirror « Common People » (S7E1, 2025); Responsible AI in Health Coalition (coalition)
Domaines du récit: Santé
Quels sont les enjeux soulevés autour de l'IA ?: Diagnostic et décision médicale assistés par IA; Relation soignant-soigné médiatisée par l'IA
Position de l'IA/Technologie au sein du récit: L'IA est ici le sujet qu'on vient disséquer. Un système conçu pour trier des malades devient lui-même le patient qu'on ausculte : le texte conduit l'examen jusqu'au diagnostic, puis localise ce qui peut être soigné, les proxys et les labels sur lesquels l'algorithme a été entraîné. Le récit se referme sur une note d'espoir, en montrant que la situation est corrigible dès lors que les entreprises se montrent responsables et modifient leurs produits à la lumière de tels constats. Enfin, le système est présenté comme non exceptionnel, emblématique d'une catégorie d'outils appliqués à environ 200 millions de personnes par année aux États-Unis. Ce qui est qualifié dans les menus n'est donc pas un dispositif singulier mais une infrastructure ordinaire, dont l'article organise la mise en visibilité et, par là, la réparation possible.
Quelles sont les promesses et bénéfices soulevées autour de l'IA ?: Optimisation des systèmes et des processus; Réduction des coûts et des erreurs humaines; Réduction des inégalités sociales
Figures de l'IA: L'IA comme boîte noire; L'IA comme décideur; L'IA comme expert; L'IA comme infrastructure
Cadrages idéologiques: Progressisme réformiste; Justice algorithmique et égalité; Féminisme et études critiques des données; Éthique et responsabilité
Effets sur les spectateur.ices / public: Indignation / colère; Espoir / optimisme
Risques et mises en garde: Biais algorithmiques et discriminations; Fractures numériques et inégalités d'accès; Opacité algorithmique et déficit de transparence

Media: Capture d’écran, le 2026-08-10 à 10.28.44.png; Capture d’écran, le 2026-08-10 à 10.28.57.png; Capture d’écran, le 2026-08-10 à 10.29.47.png; Capture d’écran, le 2026-08-10 à 10.29.38.png; Capture d’écran, le 2026-08-10 à 10.29.08.png; Capture d’écran, le 2026-08-10 à 10.29.20.png; https://www.youtube.com/watch?v=U5MlyFsMi-E

Linked resources

Filter by resource type and property:

Items with "Le contenu à relier (ressource physique, actant, conceptuelle): Dissecting racial bias in an algorithm used to manage the health of populations"
Title	Class
Généalogie des biais et non-nomination du racisme
L'opacité propriétaire comme obstacle épistémique
La collaboration non rémunérée : réparation ou techno-optimisme ?
Les labels et les proxys comme lieu du problème

Annotations

There are no annotations for this resource.