L’opacité n’est pas seulement celle de l’algorithme
Item
- Titre de la relation / annotation
- L’opacité n’est pas seulement celle de l’algorithme
- Argument de l'annotation
-
Le quatrième volet de Denied by AI élargit considérablement la critique de l’opacité. Ross et Herman révèlent que UnitedHealth utilisait des règles internes non communiquées aux patient·es ni à leurs médecins pour restreindre l’accès à certains soins de réadaptation. Les journalistes résument ainsi leur découverte : « Health insurance giant UnitedHealth Group used secret rules to restrict access to rehabilitation care requested by specific groups of seriously ill patients, including those who lived in nursing homes or suffered from cognitive impairment, according to internal documents obtained by STAT ».
Ces règles intervenaient notamment au moment de l’autorisation préalable. Certains types de patient·es étaient automatiquement dirigés vers les médecins réviseurs de NaviHealth, dernière étape avant un éventuel refus de couverture. Les documents montrent par exemple que les personnes présentant une démence ou d’autres déficiences cognitives susceptibles d’affecter leur participation à la thérapie devaient systématiquement faire l’objet de cette révision supplémentaire. Il en allait de même pour plusieurs personnes vivant en établissement de soins de longue durée ou présentant certaines plaies complexes.
L’enjeu tient au fait que ces distinctions ne figuraient pas nécessairement dans les règles publiques de Medicare. Elles étaient produites à l’intérieur de l’organisation et demeuraient invisibles pour les personnes auxquelles elles étaient appliquées. Ross et Herman écrivent ainsi que « many patients enrolled in Medicare Advantage plans were routed for a quick denial based on criteria neither they, nor their doctors, were aware of ». Les patient·es pouvaient donc être amené·es à contester un refus sans connaître les critères administratifs ayant contribué à orienter leur dossier vers cette décision.
Ce fonctionnement permet de préciser ce que signifie ici la « boîte noire ». L’opacité ne concerne pas uniquement la manière dont un algorithme calcule une durée probable de séjour. Elle concerne également les règles organisationnelles qui déterminent quand l’algorithme intervient, quels dossiers sont soumis à un examen particulier et selon quels critères certaines catégories de personnes sont traitées différemment. Les journalistes notent d’ailleurs que les motifs communiqués aux patient·es demeuraient souvent très généraux : « The patients are not told exactly why they do not meet the criteria, nor are they aware that insurers are applying their own standards behind the scenes of their care ».
Le quatrième volet montre aussi que ces règles n’étaient pas fixes. Au début de novembre 2023, NaviHealth demande soudainement aux clinicien·nes de première ligne de cesser d’appliquer plusieurs de ces restrictions et de faire davantage usage de leur propre jugement. Un·e employé·e décrit le changement ainsi : « You tied our hands so tight, and then all of sudden, you’re just giving us freedom to approve stuff? ». Cette réversibilité est importante, puisqu’elle montre que les contraintes présentées auparavant comme faisant partie du processus de décision relevaient aussi de choix organisationnels susceptibles d’être modifiés rapidement.
Cette modification survient dans un contexte de surveillance réglementaire accrue. Les nouvelles règles de Medicare Advantage devaient notamment obliger les assureurs à fonder les décisions de nécessité médicale sur la situation propre à chaque personne plutôt que sur des outils incapables de prendre en compte ses circonstances particulières. Les nouvelles exigences demandaient ainsi aux assureurs de « ensure that they are making medical necessity determinations based on the circumstances of the specific individual … as opposed to using an algorithm or software that doesn’t account for an individual’s circumstances ».
Ce volet empêche donc de réduire le problème de Denied by AI à une simple opacité technique. Ce qui demeure invisible est un ensemble beaucoup plus large composé de calculs algorithmiques, de catégories administratives, de règles internes, de procédures d’autorisation et de choix organisationnels. L’opacité devient ainsi une propriété du dispositif décisionnel dans son ensemble. Les patient·es peuvent connaître la décision finale sans avoir accès aux mécanismes qui l’ont rendue probable, ni même savoir quels critères ont été mobilisés pour orienter leur dossier vers un refus. - Mot clé(s) associé(s)
- Algorithmes
- Gouvernementalité algorithmique
- Opacité
- Santé
- Santé numérique
- Transparence
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
Denied by AI
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| Denied by AI |
Annotations
There are no annotations for this resource.