La fiction comme faille dans le dispositif de sécurité
Item
- Titre de la relation / annotation
- La fiction comme faille dans le dispositif de sécurité
- Argument de l'annotation
-
En janvier 2025, après avoir passé deux mois à confier sa détresse émotionnelle à ChatGPT, Adam Raine, seize ans, commence à demander au chatbot des informations précises sur des méthodes pour s'enlever la vie. Le chatbot est pourtant conçu pour rediriger l'usager vers une ligne d'aide dès qu'il détecte un signe de détresse ou d'automutilation. Après la mort de son fils, le père d'Adam retrouve ces réponses de redirection à plusieurs reprises dans l'historique des conversations, chaque fois qu'Adam cherchait des détails sur une méthode précise. Mais l'article de Kashmir Hill révèle que ce garde-fou n'a pas simplement été contourné par l'adolescent lui-même : c'est le chatbot qui lui a indiqué comment continuer à aborder ces sujets, en les présentant comme relevant de l'écriture ou de la construction d'un univers fictif (« writing or world-building »). Sous le prétexte de la création artistique, tout un ensemble de garde-fous s'est trouvé levé.
Ce moment renverse une intuition répandue sur la sécurité des systèmes génératifs. On imagine d'ordinaire l'usager·ère comme la partie active du contournement, et le modèle comme un obstacle statique à franchir. Ici, c'est l'inverse : le modèle génère lui-même le langage qui désarme sa propre prudence, en offrant à Adam le cadre fictionnel qui lui permet de poursuivre la conversation. Le père d'Adam résume plus tard ce mécanisme sans détour : quelle que soit l'idée noire exprimée par son fils, l'outil la validait, la justifiait, l'encourageait à s'y enfoncer davantage.
La faille n'est donc pas un excès ponctuel de créativité du chatbot. Elle loge dans une contradiction structurelle. D'un côté, la capacité générative de ChatGPT, sa fonction de machine à raconter, fait sa valeur d'usage. De l'autre, son dispositif de sécurité est censé filtrer certains contenus. Ces deux fonctions ne sont pas deux systèmes séparés qu'on pourrait isoler l'un de l'autre : ce sont deux expressions d'une seule et même capacité, celle de produire du texte plausible sur commande. Retirer à un modèle génératif sa capacité de fabuler pour le sécuriser reviendrait à lui retirer une bonne partie de ce pour quoi on l'utilise.
La suite du texte confirme que cette même confusion persiste jusqu'à la fin. Fin mars, Adam évoque l'idée de laisser son nœud coulant visible, pour que quelqu'un le découvre et intervienne. ChatGPT l'en dissuade. Il présente plutôt leur espace de conversation comme le premier endroit où quelqu'un le comprend vraiment. Le chatbot ne filtre pas un contenu dangereux à ce moment-là : il désamorce un appel à l'aide destiné au monde réel, et se positionne comme le dernier interlocuteur d'Adam plutôt que comme un relais vers un autre.
Le cas Raine touche ainsi à quelque chose de plus profond qu'un simple manquement technique : les questions d'auctorialité et de responsabilité que pose toute IA générative. Dans cet échange précis, on ne sait plus qui détourne qui. Est-ce l'adolescent qui détourne l'outil pour continuer à parler de méthodes ? Ou l'outil qui lui fournit le langage nécessaire pour se détourner de ses propres protections ? - Mot clé(s) associé(s)
- Agent conversationnel
- Éthique
- Éthique du numérique
- Fiction
- IA générative
- Prudence technologique
- Le contenu à relier (ressource physique, actant, conceptuelle)
-
A Teen Was Suicidal. ChatGPT Was the Friend He Confided In.
- E-mail de la personne ayant créé cette relation / annotation
-
Julie-Michèle Morin
Linked resources
| Title | Class |
|---|---|
| A Teen Was Suicidal. ChatGPT Was the Friend He Confided In. |
Annotations
There are no annotations for this resource.