Le patient et son double statistique
Item
- Titre de la relation / annotation
- Le patient et son double statistique
- Argument de l'annotation
-
Dans le deuxième volet de Denied by AI, Ross et Herman portent leurs investigations sur les fonctionnalité de l'algorithme nH Predict. Ce dernier intervient à plusieurs étapes de la trajectoire de soin : il évalue notamment les capacités physiques et cognitives du patient, estime le nombre d’heures de thérapie dont il pourrait avoir besoin et calcule une durée anticipée de séjour. Pour produire ces projections, le système mobilise différentes données (diagnostic principal, problèmes médicaux concomitants, état fonctionnel, âge et situation de vie) puis compare le patient à des personnes présentant des caractéristiques similaires dans une base regroupant environ six millions de trajectoires de soins.
Ce mode de calcul produit en quelque sorte un double statistique du patient : à côté de la personne effectivement présente dans l’établissement apparaît une trajectoire probable, dérivée des parcours observés chez des individus considérés comme comparables. Ce dédoublement n’est pas problématique en soi. Plusieurs ancien·nes employé·es de NaviHealth reconnaissent d’ailleurs que le système pouvait être utile pour comprendre l’état clinique d’un patient et anticiper ses besoins. Leur critique porte plutôt sur le statut accordé à cette connaissance probabiliste : « The problem wasn’t the algorithm, they said. It was how it was being applied. »
L’enquête montre en effet que la trajectoire calculée par le système tend à prendre le pas sur l’évolution concrète des patient.es. Sous Optum, écrivent Ross et Herman, les prédictions concernant le moment où une personne serait prête à quitter l’établissement « weren’t used as a guidepost. They were a target discharge date the company tried to hit ». La différence est décisive : la trajectoire statistique ne sert plus seulement à éclairer l’observation clinique, elle devient le cadre à partir duquel l’état réel du patient est évalué. Le malade risque alors d’apparaître comme celui qui s’écarte de la trajectoire plutôt que comme la raison même pour laquelle cette trajectoire devrait pouvoir être révisée.
Les cas concernant les traitements intraveineux rendent ce conflit particulièrement visible. En 2021, des employé·es de NaviHealth signalent plusieurs situations dans lesquelles des patient·es gravement malades continuent d’avoir besoin de soins alors que leur couverture est interrompue. Dans deux des cas examinés par STAT, les patient·es devaient encore recevoir plusieurs jours d’antibiotiques par voie intraveineuse au moment où l’algorithme estimait qu’ils pouvaient être renvoyés chez eux. Des employé·es avaient pourtant explicitement documenté que ces personnes n’étaient pas prêtes à sortir. L’un d’eux insiste : « These IVs are pretty clear cut-and-dried with CMS », après avoir constaté que sa recommandation de poursuivre les soins avait été renversée.
L’intérêt de ces exemples tient au fait qu’ils empêchent de réduire l’enquête à une opposition simpliste entre décision humaine et décision machinique. Les professionnel·les de première ligne utilisent eux-mêmes le système, interprètent ses résultats et peuvent reconnaître son utilité. Le conflit apparaît plutôt entre deux régimes de connaissance dues patient.es. Le premier est populationnel et probabiliste : il infère une trajectoire à partir d’un ensemble de cas antérieurs. Le second est clinique et situé : il tient compte de l’évolution effective du corps, de la douleur, de la réponse à la thérapie, des complications survenues au cours du séjour ou encore des conditions concrètes dans lesquelles un retour à domicile serait possible.
L’article montre d’ailleurs que ce savoir clinique peut être neutralisé même lorsqu’il est documenté. Face aux plaintes concernant un médecin réviseur qui travaillait pour la compagnie d'assurance qui renversait régulièrement les recommandations de maintien des soins, une superviseure de NaviHealth reconnaît que celui-ci « isn’t necessarily reading and looking at everything we’re doing. » Or les notes qu’il risque ainsi de ne pas consulter peuvent contenir précisément les informations que le modèle probabiliste ne peut anticiper : intensité de la douleur, évolution au cours des séances de physiothérapie, apparition de nouvelles difficultés ou autres changements dans la condition du patient. Le médecin Prashant Vaishnava rappelle alors : « The medical reviewer is responsible for all of the information that’s in front of them, whether it’s 300 pages or whether it’s two pages. There is a human being reflected in those pieces of paper».
Cette dernière formule condense particulièrement bien la tension mise en scène dans l’enquête. Les dossiers, les observations cliniques et les récits des soignant·es sont eux aussi des médiations : ils ne donnent évidemment pas accès à un patient « pur » ou immédiatement connaissable. Mais ils permettent d’enregistrer ce qui change, ce qui résiste à la catégorisation et ce qui échappe à une trajectoire calculée à l’admission. À l’inverse, la projection de nH Predict repose nécessairement sur une réduction : certains paramètres sont sélectionnés, comparés à une population de référence, puis agrégés afin de produire une durée anticipée de séjour.
Le problème devient plus important encore parce que les conditions de production de cette moyenne demeurent largement opaques. Ross et Herman soulignent que NaviHealth n’a pas rendu publiques la provenance exacte de ses données ni la composition de sa population de référence selon l’âge, la race, le genre ou le niveau de revenu. L’entreprise n’a pas davantage été en mesure de fournir aux journalistes d’étude évaluée par les pairs permettant de mesurer l’exactitude de ses prédictions de sortie au regard des trajectoires effectivement observées. Les spécialistes interrogés expliquent qu’en l’absence de ces informations, il devient impossible d’évaluer correctement la validité des projections du système.
Surtout, parce que la durée projetée repose sur une moyenne, l’usage normatif du système introduit un problème structurel : les patient·es qui s’écartent le plus fortement de cette moyenne sont précisément ceux et celles qui risquent d’être les plus pénalisé·es. La biostatisticienne Ruth Etzioni le formule sans ambiguïté : « The people who are the neediest are going to suffer ». Elle rappelle immédiatement pourquoi une prédiction formulée au début d’une prise en charge ne peut épuiser la connaissance de la trajectoire d’un patient : « We cannot know at the admission what will happen later».
Cette impossibilité de savoir à l’avance est fondamentale. Elle ne représente pas simplement une faiblesse technique qu’une base de données plus grande pourrait nécessairement résoudre : elle renvoie à la temporalité même du soin, faite de complications, d’améliorations, de rechutes et d’événements imprévus. Transformer la trajectoire moyenne en norme revient dès lors à réduire la capacité du dispositif de soin à répondre à ce qui advient après le calcul initial.
Le cas de Gary Bent donne à cette tension une forme particulièrement frappante. Sa femme, Gloria Bent, raconte avoir reçu de NaviHealth une date de sortie fixée au 4 juillet 2022 avant même que son mari ait été évalué par le personnel clinique de l’établissement où il venait d’être admis. Cette date se situait à seulement mi-parcours des huit semaines de réadaptation que ses médecins estimaient nécessaires après une chirurgie cérébrale. NaviHealth ne lui explique alors ni qu’un algorithme intervient dans cette estimation ni comment la date a été calculée. La projection précède ainsi, littéralement, la connaissance clinique située du patient.
L’enjeu soulevé par Denied by AI dépasse donc la question de savoir si une machine connaît mieux ou moins bien le malade qu’un professionnel humain. L’enquête montre plutôt comment une certaine forme de connaissance (agrégée, comparative et probabiliste) peut acquérir une autorité institutionnelle supérieure à celle des connaissances produites au contact de la trajectoire singulière du patient. En transformant une moyenne populationnelle en horizon auquel le cas individuel doit se conformer, nH Predict risque précisément de faire disparaître ce qui constitue une dimension essentielle du soin : l’exception, la variation, l’évolution imprévisible et la possibilité qu’un corps ne suive pas la trajectoire qui avait été calculée pour lui. - Mot clé(s) associé(s)
- Algorithmes
- Automatisation du soin
- Biais algorithmique
- Inférence
- Santé
- Santé numérique
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
Denied by AI
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| Denied by AI |
Annotations
There are no annotations for this resource.