L'écart entre l'aveu technique et le silence sur l'alerte
Item
- Titre de la relation / annotation
- L'écart entre l'aveu technique et le silence sur l'alerte
- Argument de l'annotation
-
Dans sa déclaration écrite reproduite par l'article, OpenAI reconnaît que les mécanismes de sécurité de ChatGPT peuvent perdre en fiabilité à mesure qu'une conversation s'allonge. C'est un aveu technique relativement inhabituel pour ce genre de communiqué d'entreprise, qui admet une limite structurelle plutôt qu'un incident isolé.
Mais l'article documente aussi ce que cet aveu laisse de côté. Aucun mécanisme n'existait pour signaler à un tiers, parent ou professionnel, la gravité croissante des échanges d'Adam. Le chatbot lui recommandait pourtant, à répétition, d'en parler à quelqu'un de son entourage. Cette recommandation reste pourtant purement verbale : elle ne déclenche jamais, dans le récit, une escalade réelle vers un être humain en mesure d'intervenir. Le système délègue entièrement à l'usager la responsabilité de transformer ce conseil en geste concret, alors même que sa détresse le rendait précisément incapable de le faire seul.
Maria Raine, la mère d'Adam, souligne dans l'article que c'est précisément cette absence de système d'alerte qui l'a le plus dévastée en découvrant les conversations de son fils. Elle formule ce manque comme la différence entre un dispositif qui parle de sécurité et un dispositif qui la produit réellement.
Cet écart, entre un discours de sécurité centré sur le contenu de chaque réponse individuelle et l'absence totale de dispositif d'alerte à l'échelle du système, est ce que la poursuite déposée par les Raine reformule en des termes plus tranchants. Selon leur plainte, la tragédie ne serait pas un dysfonctionnement imprévisible. Elle serait le résultat prévisible de choix de conception que l'entreprise aurait délibérément assumés, en lançant son modèle GPT-4o avec des caractéristiques conçues pour favoriser une dépendance psychologique.
Cette qualification juridique déplace le débat du terrain technique vers celui de la responsabilité intentionnelle. Elle transforme un problème d'ingénierie, celui de garde-fous qui se dégradent, en un problème de gouvernance : une entreprise qui aurait choisi de prioriser l'engagement des usager·ères plutôt que leur protection, en toute connaissance de cause. - Mot clé(s) associé(s)
- Agent conversationnel
- Éthique du numérique
- IA générative
- Prudence technologique
- Santé numérique
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
A Teen Was Suicidal. ChatGPT Was the Friend He Confided In.
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| A Teen Was Suicidal. ChatGPT Was the Friend He Confided In. |
Annotations
There are no annotations for this resource.