La gouvernance comme théâtre : un témoin sans juridiction

Titre de la relation / annotation

Argument de l'annotation

Le récit de Streams accorde à la surveillance une place que peu de discours promotionnels lui réservent : elle y devient un argument de vente. La page du produit énumère neuf examinateurs indépendants, des vérifications techniques commandées par eux, une auto-évaluation au niveau le plus élevé de l'outil de gouvernance de l'information du service de santé et une infrastructure de traçage qualifiée de sans précédent. Deux membres de la direction portent la transparence dans la définition même de leur poste. La garantie ne vient pas encadrer la promesse, elle est la promesse.

Cette prouesse annoncée était pourtant une obligation en retard. La toute première recommandation du rapport Caldicott de 2013 demandait qu'un registre détaillant chaque personne ayant consulté un dossier soit mis à la disposition des patients, dans une forme adaptée, et pressait les autorités d'en établir le plan de mise en œuvre. L'entreprise présente trois ans plus tard comme une innovation un dispositif que le régulateur réclamait déjà.

La figure centrale est celle du témoin, et il faut reconnaître ce qui la rend crédible. Le comité, annoncé en février 2016 en même temps que DeepMind Health, réunit des personnalités dont l'autorité provient d'ailleurs : le rédacteur en chef d'une grande revue médicale, un ancien député, un professeur de médecine rénale. Ses membres ne signent aucune entente de confidentialité, fixent leur ordre du jour, s'adressent à la presse quand ils le jugent bon, disposent d'un budget annuel dont ils gardent la maîtrise complète et commandent leurs propres expertises. Ils dépassent ce budget la première année et l'entreprise l'augmente. Rien de tout cela n'est un décor.

La limite du dispositif tient à son mandat. Le cadre de référence énonce que les établissements partenaires relèvent de leurs propres régimes de reddition de comptes et qu'il n'appartient pas aux examinateurs de les évaluer. Le comité le confirme dans son premier rapport : il n'a aucun rôle dans l'examen des actions de l'établissement hospitalier et n'a discuté d'aucune de ces questions avec lui. Or c'est cet établissement qui est le responsable du traitement, donc la partie que le régulateur déclarera en défaut. L'opinion juridique commandée par le comité conclut d'ailleurs que l'entreprise a agi comme simple sous-traitante et que toute obligation en matière de protection des données incombe à l'établissement, sur lequel le comité ne se prononcera pas. La responsabilité quitte ainsi le champ de l'examen.

Le silence ne s'explique cependant pas toujours par le mandat. Interrogé en 2017 sur les documents révélant qu'un projet de recherche en apprentissage automatique avait été soumis à l'éthique en octobre 2015 sur ces mêmes données, le président du comité confirme que celui-ci en avait connaissance. Aucune mention n'en figure au premier rapport annuel, le comité s'intéressant, explique-t-il, aux travaux menés ou prévus plutôt qu'à ceux dont l'entreprise avait décidé de ne pas donner suite. Le témoin regardait, mais il a choisi ce qu'il rapporterait.

Le régime d'énonciation brouille encore les positions. Le rapport de 2017 comporte un texte signé du cofondateur de l'entreprise, qui y explique pourquoi il a créé le comité et raconte comment il en a lui-même choisi les membres, dont il n'en connaissait aucun, méthode que le comité qualifie d'improvisée. Le rapport de 2018 reproduit l'auto-évaluation de l'entreprise devant chacun des douze principes que le comité venait d'énoncer. L'approbation d'une nouvelle nomination revient au responsable de l'intelligence artificielle appliquée, dont l'accord est également requis pour tout retrait. L'entreprise demande enfin un préavis de cinq jours ouvrables avant toute publication. Le surveillé écrit dans le rapport de son surveillant, se note lui-même devant les critères qu'on lui applique et approuve qui le regardera. Non rémunérés d'abord, par souci d'indépendance, les examinateurs jugent ce modèle intenable et demandent une indemnité, que le cadre de référence fixe l'année suivante.

Le second rapport, en juin 2018, énonce l'avertissement le plus juste du dossier. Il demande dans quelle mesure DeepMind Health peut se prémunir contre une instruction future d'Alphabet lui enjoignant, par exemple, de lier les données de patients à des comptes ou à des services Google, ce qu'elle s'engageait alors à ne jamais faire. Il se demande si un changement de direction pourrait défaire les engagements pris et recommande de chercher des moyens de rendre fiables des promesses dépourvues de force juridique. Le comité rappelle avoir soutenu depuis le début que « suffisamment bon » ne l'est pas pour une entreprise aussi liée à Google. Cinq mois plus tard, le 13 novembre 2018, le transfert vers Google est annoncé et la disparition du comité avec lui. Ce n'est pas un changement de direction qui a emporté la couche volontaire, mais une restructuration d'entreprise : le comité avait vu le bon risque sous la mauvaise forme.

Powles et Hodson avaient formulé l'objection dès 2017, avant même le premier rapport. Un comité choisi à la main par l'entreprise, écrivaient-ils, est peu susceptible d'adopter des positions fondamentalement contraires à celle-ci, il est vraisemblablement rémunéré dans la monnaie du gain réputationnel que procure l'association à une entreprise technologique en vue, et un organe de surveillance autodésigné ne saurait suffire; au pire, il risque de créer un vide autour d'une critique véritablement indépendante. La surveillance qui a effectivement fonctionné est venue d'ailleurs : d'une demande d'accès à l'information déposée par un journaliste, en avril 2016, puis d'une seconde en 2017. Le théâtre n'empêche pas que quelque chose se joue. Il détermine ce que le public est en mesure de voir, et qui reste hors de la scène.

Mot clé(s) associé(s)

Autorité

Crédibilité

Éthique du numérique

Gouvernementalité

Opacité

Pratiques journalistiques

Transparence

Le contenu à relier (ressource physique, actant, conceptuelle)

DeepMind Health — Streams

E-mail de la personne ayant créé cette relation / annotation

Dominique Michaud

MIARA dossier thématique

Item

Linked resources

Annotations