L'opacité propriétaire comme obstacle épistémique
Item
- Titre de la relation / annotation
- L'opacité propriétaire comme obstacle épistémique
- Argument de l'annotation
-
Dès son introduction, l'article situe sa propre possibilité comme exceptionnelle. Les auteurs y posent un diagnostic sur l'état du champ : les recherches empiriques sur le biais algorithmique se heurtent à une contrainte structurelle, puisque les algorithmes déployés à grande échelle sont typiquement propriétaires, ce qui rend difficile leur dissection par des chercheurs indépendants. Faute d'accès, les chercheurs doivent, selon la formule de l'article, travailler « from the outside », souvent avec une grande ingéniosité, en recourant à des contournements comme les études d'audit (p. 447). Le constat qui suit est plus tranchant encore : ces efforts peuvent documenter des disparités, mais comprendre comment et pourquoi elles surgissent, et a fortiori savoir quoi y faire, reste hors de portée sans un accès plus profond aux algorithmes eux-mêmes. Sans les données d'entraînement, la fonction objectif et la méthode de prédiction, les auteurs écrivent qu'on ne peut que deviner les mécanismes réels des disparités algorithmiques (Benjamin, 2019).
Leur propre étude se présente comme l'exception à ce régime. Ils décrivent leur jeu de données comme donnant accès à un algorithme vivant, déployé à l'échelle nationale, dont ils observent simultanément les entrées, les sorties et les résultats de santé effectifs, ce qui leur offre une occasion rare de quantifier les disparités raciales et d'isoler les mécanismes par lesquels elles apparaissent, plutôt que de les inférer. C'est là un point d'énonciation particulier : l'article ne se contente pas de produire un résultat, il argumente en même temps sur les conditions institutionnelles qui rendent ce type de résultat possible ou impossible. La démonstration scientifique est indissociable d'une revendication d'accès.
Le titre de l'article comporte d'ailleurs le verbe « disséquer », qui suppose un corps ouvert, disponible à l'examen. La métaphore est anatomique et clinique, cohérente avec le domaine étudié, et elle s'oppose à celle de la boîte noire (fréquemment mobilisée dans les discours sur l'IA). Or c'est précisément cette entrée dans la boîte noire que l'article revendique comme sa contribution méthodologique propre.
Cette image entre pourtant en tension avec le geste des auteurs eux-mêmes, qui anonymisent le système étudié tout au long du texte. Le fabricant n'est jamais nommé, non plus que l'hôpital universitaire dont proviennent les données. L'algorithme est présenté comme représentatif d'une catégorie d'outils appliqués, selon les estimations de l'industrie, à environ 200 millions de personnes par an aux États-Unis, et les auteurs insistent sur ce statut d'exemplaire plutôt que de cas singulier : cet algorithme, écrivent-ils, n'est pas unique, il est emblématique d'une approche généralisée de la prédiction du risque dans le secteur de la santé, adoptée aussi bien par des centres médicaux à but lucratif que par des organismes sans but lucratif et des agences gouvernementales. L'anonymisation n'est donc pas seulement une précaution, elle est aussi un argument : ne pas nommer, c'est empêcher que le problème soit lu comme la défaillance d'une entreprise particulière.
Reste que l'effet est double. L'article rend l'algorithme transparent aux chercheur.es sans le rendre nommément transparent au lecteur.ice (la compagnie propriétaire est anonymisé au sein de l'Article), reconduisant à une échelle plus restreinte l'opacité qu'il dénonce à l'échelle de l'industrie. Ce sont des sources ultérieures qui ont levé l'anonymat, en quelques jours seulement : la presse scientifique et les régulateurs de l'État de New York ont identifié le système comme étant Impact Pro, d'Optum.
Le geste des auteurs a par ailleurs une contrepartie ouverte qui mérite d'être notée : faute de pouvoir diffuser des données de santé protégées, ils publient un jeu de données synthétique et l'intégralité du code nécessaire à la reproduction des analyses, dans un dépôt public. La transparence qu'ils ne peuvent accorder sur l'identité du système, ils la déplacent vers la méthode. - Mot clé(s) associé(s)
- Algorithmes
- Biais algorithmique
- Mises en récit et Discours scientifiques
- Opacité
- Santé
- Santé numérique
- Transparence
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
Dissecting racial bias in an algorithm used to manage the health of populations
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| Dissecting racial bias in an algorithm used to manage the health of populations |
Annotations
There are no annotations for this resource.