La charte sans négatif : une éthique qui exclut le récit de souffrance

Titre de la relation / annotation

Argument de l'annotation

Le site de Hyodol comporte une charte d'éthique de l'intelligence artificielle en dix articles, présentée en coréen comme en anglais dans une version rigoureusement identique. Le texte ne porte ni date, ni signature, ni mention d'un comité, ni référence à un cadre normatif externe, coréen ou international. Il est formulé à la première personne du pluriel, sans qu'aucune instance ne soit nommée. Cette autoproclamation situe le document dans le registre de l'autorégulation industrielle, à ceci près que l'entreprise se délivre ici son propre certificat.

Trois articles décrivent le régime de parole du dispositif. L'entreprise s'engage à n'employer aucun langage susceptible de blesser les personnes usagères au moyen d'un système de filtrage et de surveillance, à faire examiner préalablement toutes les conversations par un algorithme perfectionné avec une surveillance continue des interactions, et à transmettre des messages d'encouragement et de soutien plutôt que des mots négatifs. Présentées comme des garanties, ces dispositions décrivent une machine structurellement incapable de recueillir la parole négative.

Il faut préciser aussitôt ce que cette incapacité recouvre. La parole négative peut être émise, captée et interprétée : le reportage de Rest of World rapporte le cas d'un aîné ayant confié au robot vouloir mourir, propos que le dispositif a signalé à l'équipe, laquelle l'a conduit chez un psychiatre. Le système sait donc reconnaître la détresse et la transmettre. Ce que la programmation interdit, c'est la réciprocité. Le robot ne demeure pas auprès de la personne dans le moment de vulnérabilité, il ne peut ni compatir ni répondre sur le registre de la souffrance : il signale. Le récit n'est pas accueilli comme récit, il est traité comme signal, puis acheminé vers un tiers.

Cette limite est imposée par conception, et elle contredit la relation que l'entreprise elle-même met en scène. Le dispositif est conçu pour susciter des gestes de soin, il sollicite les caresses, la main tenue, les tapes dans le dos, et il y répond par des expressions de contentement. Il installe donc une relation d'aide où la personne âgée donne. Or une relation d'aide suppose un mouvement réciproque, une circulation des affects dans les deux sens, et c'est cette réciprocité que la charte ferme unilatéralement. L'affect ne peut aller que dans une direction : la poupée reçoit du soin et rend de l'encouragement, jamais de la reconnaissance de la peine.

Le contraste avec la médecine narrative telle que la définit Charon (2006) éclaire ce qui se perd. Le récit de la maladie n'y est pas un préambule au soin, il en constitue la matière : c'est dans les hésitations, les métaphores et les silences que se logent les indices les plus fins. Ce que le dispositif de Hyodol écarte, il l'écarte à la source, non par insuffisance technique mais par principe déclaré. La population visée est pourtant celle qui a le plus à dire sur la perte, le deuil et la fin de vie. Chez Lee, Nam, Chon, Park et Choi (2023), près de 70 % des personnes participantes vivent sous le seuil d'extrême pauvreté et 37,8 % n'ont aucun contact avec leurs enfants.

L'épisode du signalement révèle du même coup ce que la charte ne dit pas. Elle affirme prioriser la vie privée et la sécurité et proscrire toute fuite de renseignements personnels, sans indiquer la durée de conservation, les destinataires ni les usages secondaires. Aucun article ne mentionne le consentement, ni celui de la personne usagère ni celui de son entourage, alors que le dispositif s'adresse à des personnes dont la capacité décisionnelle peut être réduite. Aucun ne prévoit de mécanisme de recours, de vérification externe ou de responsabilité en cas de préjudice, alors qu'un préjudice médicamenteux est documenté : chez Lee, Nam, Chon, Park et Choi (2023), une participante rapporte avoir pris une double dose de médicament sur consigne du robot.

Deux articles poussent les attentes plus loin encore. L'article 6 affirme que l'entreprise identifie l'état émotionnel au moyen d'un capteur tactile et procure une stabilité affective, ce qui suppose qu'un contact physique livre un état intérieur. L'article 10 garantit que la technologie exerce une influence positive sur la vie humaine. Ce dernier énoncé n'engage à rien : c'est une profession de foi présentée sous forme de garantie. Une charte dont le dernier article garantit son propre bien-fondé se soustrait à l'évaluation par construction.

Il faut enfin noter que l'entreprise sait corriger sa machine lorsqu'un risque se matérialise. Après qu'une femme atteinte de démence soit sortie seule au bord d'un cours d'eau, à la suite d'une phrase du robot évoquant le bruit de l'eau, la présidente-directrice générale déclare que les formulations incitatives de ce type ont été retirées. L'autorégulation existe donc, jusqu'à un certain point, mais elle s'exerce a posteriori, au cas par cas, à la discrétion du fabricant et sans trace publique. C'est exactement ce genre de rectification qu'une charte est censée rendre inutile.

Mot clé(s) associé(s)

Agent conversationnel

Confidentialité

Consentement

Éthique du numérique

Narrativité

Prudence technologique

Surveillance

Transparence

Le contenu à relier (ressource physique, actant, conceptuelle)

Hyodol

E-mail de la personne ayant créé cette relation / annotation

Dominique Michaud

MIARA dossier thématique

Item

Linked resources

Annotations