Généalogie des biais et non-nomination du racisme
Item
- Titre de la relation / annotation
- Généalogie des biais et non-nomination du racisme
- Argument de l'annotation
-
L'introduction de l'article inscrit son objet dans une généalogie déjà documentée de biais algorithmiques : les annonces d'emploi pour des postes bien rémunérés moins présentées aux femmes, les recherches de noms à consonance noire déclenchant plus souvent des publicités liées aux antécédents judiciaires, les systèmes de reconnaissance faciale moins performants sur les visages de femmes et de personnes noires, les algorithmes de traitement du langage qui encodent le genre. L'algorithme étudié est ainsi présenté comme un cas de plus dans un phénomène structurel connu, plutôt que comme une découverte isolée. La conclusion prolonge ce geste hors du domaine de la santé, en énumérant les scores de crédit qui reproduisent les inégalités d'emploi et de salaire, les algorithmes policiers qui prédisent une criminalité mesurée par une surveillance elle-même inégale, et les outils de recrutement entraînés sur des décisions déjà marquées par les biais de race et de genre.
Pourtant, le vocabulaire employé pour désigner le phénomène reste presque exclusivement statistique. Le texte parle de « bias », de « disparity », de « racial bias », jamais de racisme. Le terme n'apparaît pas dans le corps de l'article, y compris là où le propos y touche de très près : pour expliquer la moindre dépense de soins engagée pour les patients noirs, les auteurs évoquent la confiance réduite envers le système de santé, qu'ils rattachent aux révélations de l'étude de Tuskegee, ainsi qu'une littérature en psychologie documentant les perceptions différentielles des patients noirs par les médecins, notamment quant à leur tolérance à la douleur. Le constat est là, la nomination n'y est pas. Une seule expression fait exception à cette retenue, appliquée non au phénomène social mais au mécanisme technique, que les auteurs qualifient de particulièrement pernicieux parce qu'il peut naître de choix raisonnables (Benjamin, 2019).
C'est le commentaire d'accompagnement de Ruha Benjamin, publié dans le même numéro de Science sous le titre « Assessing risk, automating racism » (p. 421-422), qui assume cette nomination politique. Benjamin y traite l'automatisation de la discrimination raciale comme une préoccupation croissante et rappelle que les sciences sociales étudient depuis longtemps les dimensions historiques, politiques, économiques et éthiques de ces outils, mais que les analystes n'ont généralement pas accès aux algorithmes propriétaires et ne peuvent donc pas identifier les mécanismes précis qui produisent les écarts. Elle relit le résultat au prisme de ce qu'elle nomme ailleurs le New Jim Code : une inégalité codée qui se perpétue non par intention explicite, comme dans les régimes ségrégationnistes antérieurs, mais parce que celles et ceux qui conçoivent et adoptent ces outils ne pensent pas le racisme systémique.
La revue répartit ainsi les registres entre deux textes, deux voix et deux légitimités disciplinaires : l'économie de la santé tient la mécanique causale, les études afro-américaines tiennent la nomination politique. Cette division du travail énonciatif mérite d'être lue sans y voir mécaniquement une défaillance. Elle protège la démonstration statistique d'objections sur son ton, et elle a vraisemblablement facilité la collaboration corrective avec le fabricant. Mais elle a un coût, et il est repérable : dans la circulation ultérieure de l'étude, c'est Nature qui titrera sur un racisme généralisé dans les logiciels décisionnels des hôpitaux états-uniens, tandis que l'article lui-même n'aura jamais employé le mot. - Le contenu à relier (ressource physique, actant, conceptuelle)
-
Dissecting racial bias in an algorithm used to manage the health of populations
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| Dissecting racial bias in an algorithm used to manage the health of populations |
Annotations
There are no annotations for this resource.