La frontière qui recule : ce qui échappe à la donnée et ce qui n'y échappe plus
Item
- Titre de la relation / annotation
- La frontière qui recule : ce qui échappe à la donnée et ce qui n'y échappe plus
- Argument de l'annotation
-
La ligne de partage est visible dans les chiffres de l'autorisation réglementaire. Sur les 692 dispositifs médicaux fondés sur l'intelligence artificielle autorisés par la Food and Drug Administration entre 1995 et 2023, la radiologie compte pour 76,9 %, loin devant le cardiovasculaire à 10,1 % (Muralidharan et coll., 2024). Cette concentration ne relève pas de l'accident de marché : la radiologie est le domaine où le réel pertinent se réduit à une donnée sans reste, une image étant déjà une matrice de valeurs. Dans le panel consacré à la place des patient·es, Jennifer King, spécialiste des politiques de la vie privée au Stanford Institute for Human-Centered Artificial Intelligence, désigne d'ailleurs une autre tâche où l'outil pourrait servir : traduire le travail clinique en langage compréhensible pour les patient·es. Reformuler un savoir stabilisé, c'est encore travailler sur du capturable.
Ce qui échappe, en revanche, échappe avant le calcul. Libby Hoy, fondatrice de PFCCpartners, le montre par un cas dans le même panel. Elle a trois fils atteints d'une même dysfonction mitochondriale. Beaucoup de leurs symptômes sont les mêmes, et chacun en fait pourtant une expérience très différente. Cette différence n'est pas perdue par la machine, elle est perdue en amont, par la nosographie qui leur assigne un seul diagnostic. Le modèle ne reçoit pas trois expériences qu'il aplatirait, il reçoit des données déjà produites par des catégories construites pour ne pas enregistrer cet écart. Andrea Downing, cofondatrice de The Light Collective, formule la même chose autrement : à moins d'avoir vécu un diagnostic de cancer, on ne représente pas cette perspective comme le fait une personne qui en a l'expérience vécue.
Ce qui vaut pour une famille vaut à plus grande échelle. La même étude établit que 96,4 % des dossiers d'autorisation ne fournissent aucune information sur l'origine ethnique des personnes ayant servi à la validation, et 99,1 % aucune donnée socioéconomique. Le contexte n'est donc pas mal capté, il n'est pas collecté. La douleur, l'angoisse, la peur de la perte n'entrent pas dans la machine, non parce qu'elle les traiterait mal, mais parce que les instruments qui produisent ses données n'ont jamais été conçus pour les enregistrer, et parce que leur expression varie d'une langue et d'une culture à l'autre selon des écarts qu'aucune échelle clinique ne relève.
Que devient alors ce qui subsiste malgré tout dans les données, mais rarement? King le décrit par ce qu'elle appelle l'effet Beyoncé. Quand il s'agit de Beyoncé, dit-elle, il y a tant de données et tant d'images que tout se fond. Mais s'il n'existe qu'une seule image d'une maladie rare, le modèle risque de la mémoriser et de la ressortir telle quelle. Elle rappelle que la littérature médicale universitaire alimente les jeux d'entraînement ouverts, que des personnes atteintes de conditions rares y figurent même anonymisées, et qu'on ignore comment ces grands modèles traitent l'influence d'un point de données unique.
Carlini et coll. (2021) en donnent la mécanique. Ils définissent la mémorisation eidétique de rang k comme le fait qu'une chaîne soit restituable alors qu'elle n'apparaît que dans k exemples d'entraînement au plus, et établissent que la mémorisation est d'autant plus forte que k est petit. Les grands modèles mémorisent davantage que les petits, et pour le plus grand modèle testé la restitution complète survient après trente-trois occurrences seulement. Ils précisent surtout que la protection standard contre ce phénomène, l'entraînement différentiellement privé, empêche les modèles de capter les queues longues de la distribution des données.
Les deux mécanismes se rejoignent. Un cas rare produit peu de données, par définition. En amont, la nosographie le range sous une catégorie unique qui absorbe ses variantes : les trois fils de Hoy portent un seul diagnostic. En aval, la rareté même de ce qui subsiste dans le corpus déclenche la mémorisation, et le modèle restitue la forme exacte de son unique occurrence plutôt que d'en dégager un motif. Carlini et coll. précisent que cette restitution dépend de l'amorce donnée, ce qui signifie que la forme mémorisée est celle-là et pas une autre, sans les variantes qui en feraient un cas parmi d'autres.
Dans les deux cas, ce qui disparaît est le même : la variabilité intrinsèque de la maladie, dans ses manifestations comme dans son vécu. La catégorie l'efface en confondant, la mémorisation l'efface en figeant. Et la protection standard contre le second phénomène, l'entraînement différentiellement privé, empêche les modèles de capter les queues longues de la distribution, c'est-à-dire précisément ces cas. La technique qui protégerait la personne atteinte d'une maladie rare est donc celle qui rendrait le modèle inutile pour elle. Ni la confusion, ni le figement, ni l'effacement délibéré ne sont une compréhension.
Bender et coll. (2021) en donnent la raison. Un modèle de langue n'a accès qu'à la forme, jamais au sens : c'est un système qui assemble des séquences de formes observées selon des informations probabilistes sur leurs combinaisons, sans référence à ce qu'elles signifient. Les autrices ajoutent que la taille ne garantit pas la diversité, et que la cohérence que nous percevons dans ces sorties vient de notre propre disposition à interpréter un énoncé comme porteur d'une intention.
Un avertissement de méthode s'impose ici, et il vient du symposium lui-même. Dans le panel consacré à la main-d'œuvre biomédicale, Jonathan Chen, professeur adjoint de médecine et de science des données biomédicales à Stanford, rappelle avoir écrit six ou sept ans plus tôt un texte sur ce que l'ordinateur fait bien et ce que l'humain fait bien, et dit n'être plus sûr que cela tienne. Il énumère alors ses critères et les retire un à un : la physicalité, jusqu'à ce que la robotique arrive ; l'empathie et la communication, suivies d'une hésitation ; la gestion, l'interprétation de données complexes, le raisonnement, dont il se dit franchement incertain. Toute critique fondée sur ce que la machine ne saurait faire s'effrite ainsi d'année en année.
Il s'arrête pourtant, et l'endroit est instructif. Le patient a une insuffisance cardiaque et une insuffisance rénale, faut-il donner le diurétique? Le patient pourrait vivre deux mois de plus sous chimiothérapie, avec des effets secondaires terribles pendant ces deux mois. Les deux choses sont vraies, dit-il, et aucun manuel ne dit laquelle pèse le plus. Cela requiert un contexte humain de valeurs et de perception. Une telle question n'excède pas les capacités de la machine, elle est sans réponse calculable, parce qu'elle demande ce que ces deux mois valent pour quelqu'un.
Kimberly Lomis, vice-présidente aux innovations en formation médicale à l'American Medical Association, ajoute aussitôt une réserve qu'il faut créditer. On ne peut pas penser cela, dit-elle, sans comprendre le système dans lequel le médecin doit fonctionner. Les médecins manquent-ils vraiment d'empathie, ou leur demande-t-on de voir trop de patients en trop peu de temps, de sorte qu'ils doivent laisser cela de côté? Certaines choses que les humains ne font pas bien en ce moment, ils les feraient peut-être mieux si on les avait mis en position de réussir.
La remarque déplace la question une dernière fois. Ce qui échappe à la donnée n'est ni une propriété stable du réel ni une limite définitive du calcul, c'est le produit d'un ensemble de décisions : ce qu'on choisit de mesurer, ce qu'on range sous une même catégorie, et le temps qu'on accorde à l'écoute. - Mot clé(s) associé(s)
- Complexité
- Données d'entraînement
- IA médicale
- Mises en récit et Discours scientifiques
- Santé
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
RAISE Health Symposium 2025
- E-mail de la personne ayant créé cette relation / annotation
-
Dominique Michaud
Linked resources
| Title | Class |
|---|---|
| RAISE Health Symposium 2025 |
Annotations
There are no annotations for this resource.