La collaboration non rémunérée : réparation ou techno-optimisme ?
Item
- Titre de la relation / annotation
- La collaboration non rémunérée : réparation ou techno-optimisme ?
- Argument de l'annotation
-
Une fois le biais démontré, l'article bascule vers un récit de résolution. Les auteurs rapportent avoir contacté le fabricant de l'algorithme une fois leurs analyses achevées, et celui-ci a répliqué de façon indépendante leurs résultats sur un jeu de données national de 3 695 943 patients assurés commercialement. La réplication confirme l'écart : à score de risque égal, les patients noirs y présentent 48 772 maladies chroniques actives de plus que les patients blancs. Les auteurs commentent ce résultat d'une formule qui oriente toute la suite du récit : il illustre, écrivent-ils, comment les biais peuvent effectivement surgir de façon involontaire.
Une collaboration s'engage alors pour ajuster le label prédit. En conservant toute l'infrastructure du modèle, l'échantillon, les variables prédictives, le protocole d'entraînement, et en remplaçant simplement le coût futur par un indice combinant prédiction de santé et prédiction de coût, l'excès de maladies chroniques chez les patients noirs tombe de 48 772 à 7 758, soit une réduction de 84 % du biais. Les auteurs précisent que cette collaboration se prolonge, sans rémunération, pour construire un prédicteur plus complet de la santé qu'ils espèrent voir intégré à une version ultérieure de l'algorithme.
La section des remerciements soutient ce récit par une déclaration d'indépendance inhabituellement détaillée : aucun des auteurs n'a eu de contact avec le fabricant avant la fin de l'analyse, aucun n'a reçu de compensation sous quelque forme que ce soit, aucun n'a d'intérêt commercial dans l'entreprise ou ses concurrents, et il n'existait ni entente de confidentialité limitant la publication, ni accord de transfert de matériel, ni relation formelle d'aucune sorte. Cette transparence méthodologique garantit l'indépendance du constat initial, avant que ne s'amorce la phase corrective. Elle a aussi une fonction narrative : elle sépare nettement deux temps, celui de l'audit indépendant et celui de la collaboration, de sorte que le second ne contamine pas rétroactivement la crédibilité du premier.
L'article se conclut sur l'idée que les biais de label sont réparables, « fixable », et le texte précise ce que cette réparation exige et n'exige pas : il n'est pas nécessaire de changer les procédures d'ajustement des algorithmes, par exemple en recourant à des techniques statistiques de décorrélation des prédicteurs avec la race ; il faut changer les données qu'on donne à l'algorithme, et spécifiquement les labels. Les auteurs ajoutent que, le fabricant étudié étant largement considéré comme un chef de file du secteur en matière de données et d'analytique, ils espèrent que cette démarche incitera d'autres fabricants à adopter des correctifs comparables, tout en concédant que leur expérience pourrait ne pas être représentative de l'ensemble des concepteurs.
Cette conclusion suppose qu'un ajustement technique, mené en collaboration avec l'industrie, suffit à corriger un effet d'inégalité structurelle. La tension est réelle, parce que l'article lui-même a établi que l'écart de dépenses tient à des barrières d'accès, à une méfiance historiquement fondée et à des biais dans la relation médecin-patient, aucun de ces facteurs n'étant modifiable par un changement de variable prédite. Le correctif rend l'algorithme moins injuste sans rendre le système de santé moins inégal ; il cesse de reproduire l'inégalité tout en la laissant intacte.
La réponse publique du fabricant vient encore nuancer cette lecture. Une fois l'entreprise identifiée par la presse comme étant Optum, celle-ci a déclaré apprécier le travail des chercheurs tout en jugeant leur conclusion trompeuse. Le récit de la réparation collaborative n'est donc pas partagé de la même façon des deux côtés : ce que l'article présente comme une correction consentie, l'entreprise le requalifie publiquement en interprétation contestable de son produit. La collaboration technique et le désaccord public coexistent, ce qui suggère que la coopération porte sur le correctif, non sur le diagnostic. - Mot clé(s) associé(s)
- Algorithmes
- Biais algorithmique
- Éthique des données
- Prudence technologique
- Santé
- Santé numérique
- Transparence
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
Dissecting racial bias in an algorithm used to manage the health of populations
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| Dissecting racial bias in an algorithm used to manage the health of populations |
Annotations
There are no annotations for this resource.