Les labels et les proxys comme lieu du problème
Item
- Titre de la relation / annotation
- Les labels et les proxys comme lieu du problème
- Argument de l'annotation
-
Aux États-Unis, les grands systèmes de santé et les assureurs recourent à des algorithmes commerciaux pour repérer, parmi leurs patient.es, ceux et celles qui devraient être admis dans des programmes de gestion des cas complexes. Ces programmes offrent des ressources supplémentaires, un suivi infirmier rapproché, des plages de consultation additionnelles, à des personnes atteintes de plusieurs maladies chroniques. Comme ces ressources sont coûteuses et limitées, l'algorithme sert à trancher qui y accède : au-dessus du 97e percentile de score, l'inscription est automatique ; au-dessus du 55e, les médecins traitant reçoivent des données contextuelles et sont invités à envisager l'inscription. Les auteur.es de l'étude ont obtenu un accès inhabituel aux entrées, aux sorties et à l'objectif de calcul de l'un de ces systèmes (anonymisé dans le cadre de l'article), ce qui leur permet d'en observer le fonctionnement interne plutôt que d'en déduire les effets de l'extérieur.
Ce qu'ils y trouvent tient en une phrase : à score de risque identique, les patient.es noir.es sont nettement plus malades que les patients blanc.hes, avec 26,3 % de maladies chroniques en plus au seuil d'inscription automatique. Corriger cette disparité ferait passer la proportion de patient.es noir.es admis automatiquement de 17,7 % à 46,5 %. L'algorithme ne comporte pourtant aucune erreur de calcul, et il exclut explicitement la race des patient.es de ses variables. Ce que les chercheur.es ont démontré c'est bien que le problème se situe ailleurs : le système ne prédit pas l'état de santé, il prédit les dépenses de santé à venir. Cette variable lui sert à approximer les besoins. Or l'accès aux soins est inégal, et à maladie égale on dépense moins pour les patients noirs, ce qui les fait apparaître en meilleure santé aux yeux du modèle. La solution que proposent et testent les auteur.es est d'une simplicité déconcertante au regard de l'ampleur du problème : ne rien changer à la méthode statistique ni aux données d'entrée, mais modifier la variable que l'algorithme est entraîné à prédire. Cette seule reformulation réduit le biais de 84 %.
L'article construit ainsi un récit de démonstration causale : plutôt que de se contenter de constater une disparité, les auteur.es isolent expérimentalement la variable exacte qui la produit. Pour ce faire, ils entraînent trois algorithmes alternatifs sur des labels différents, le coût total, le coût évitable lié aux visites d'urgence et aux hospitalisations, et le nombre de maladies chroniques qui se manifestent dans l'année, tous construits selon le même protocole et excluant la race comme le faisait le système d'origine. La composition raciale du groupe à haut risque varie alors du simple au double selon le label choisi, de 14,1 % de patients noirs pour le prédicteur de coût à 26,7 % pour le prédicteur de maladies chroniques (Table 2, p. 452). Cet écart est bien plus important que celui observé sur la performance prédictive elle-même : tous les modèles prédisent raisonnablement bien l'ensemble des résultats, y compris ceux sur lesquels ils n'ont pas été entraînés, mais leurs implications en matière de biais divergent radicalement.
Cette expérience révèle que le choix du label est un geste en apparence technique et neutre qui s'avère être le point exact où l'inégalité s'infiltre. Les auteurs le formulent sans détour : le choix du label est « perhaps the single most important decision made in the development of a prediction algorithm » (p. 451). L'affirmation est décisive pour l'analyse, parce qu'elle déplace le lieu de la responsabilité. Le biais ne réside ni dans les données brutes ni dans la méthode statistique, mais dans une décision de conception prise en amont, par des personnes, sur ce qu'il convient de demander à la machine de prédire.
La tension centrale de l'article tient dans cet écart entre l'intention et l'effet, et le texte la donne à voir par un chiffre : à nombre égal de maladies chroniques, les patients noirs génèrent en moyenne 1 801 dollars de dépenses de moins par année que les patients blancs (p. 451). L'algorithme, entraîné à prédire ces dépenses, apprend une version racialement déformée du besoin sans jamais avoir accès à la variable raciale. C'est ce que les auteurs désignent comme un biais de label, distinct des formes de biais habituellement répertoriées et, précisent-ils, plus difficile à détecter. - Mot clé(s) associé(s)
- Biais algorithmique
- Santé
- Santé numérique
- Algorithmes
- Apprentissage machine
- Données d'entraînement
- Inférence
- Prédiction
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
Dissecting racial bias in an algorithm used to manage the health of populations
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| Dissecting racial bias in an algorithm used to manage the health of populations |
Annotations
There are no annotations for this resource.