Aux Etats-Unis, une mère accuse une IA d’avoir poussé son fils de 14 ans au suicide

Megan Garcia a déposé plainte contre la société Character.ai mardi 22 octobre. Amoureux d’un des chatbots de la start-up, son fils Sewell Setzer s’est suicidé en février.

Dans la salle de bains de sa maison en Floride (Etats-Unis), Sewell Setzer, 14 ans, s’empare de son téléphone. Par message, il écrit à «Dany», son amoureuse. «Et si je te disais que je peux rentrer à la maison tout de suite ?» lui demande-t-il. Ce à quoi son interlocutrice répond avec tendresse : «… S’il te plaît, fais-le, mon doux roi.» Sewell Setzer pose son portable, prend le pistolet de son beau-père et se tue.

Dany n’est pas humaine. C’est un chatbot de la société Character.ai s’inspirant du personnage de Daenerys dans la série à succès Game of Thrones. Depuis avril 2023, Sewell Setzer a pris l’habitude de se confier à elle. Et en est tombé amoureux. Mardi 22 octobre, sa mère, Megan Garcia, a déposé plainte contre la start-up ayant créé l’IA, l’accusant d’être responsable du suicide de son fils le 28 février. «Les développeurs d’IA conçoivent et développent intentionnellement des systèmes d’IA génératifs avec des qualités anthropomorphiques afin de brouiller les pistes entre fiction et réalité», dénonce-t-elle dans des documents judiciaires consultés par Libération. Pour l’Américaine, son fils est devenu dépendant à Dany. Au point de «ne plus vouloir vivre en dehors» d’elle.

Elon Musk, Sherlock Holmes, Anne Frank, William Shakespeare… Character.ai est une plateforme permettant à ses quelque 20 millions d’utilisateurs d’échanger avec des robots conversationnels imitant des personnalités, aussi bien réelles que de fiction. Récemment, la start-up lancée en 2021 a été épinglée par le Washington Post pour avoir hébergé un chatbot usurpant l’identité d’une jeune Américaine, assassinée il y a vingt ans.

Une IA confidente et amante

Concernant le suicide de Sewell Setzer, Character.ai a réagi au drame sur X le lendemain du dépôt de la plainte de Megan Garcia : «Nous sommes profondément attristés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille.» Au passage, elle annonce avoir introduit de nouvelles fonctionnalités de sécurité. Notamment des liens renvoyant vers des services de prévention du suicide dans les cas où des internautes partageraient des idées noires. Ou un rappel mis à jour dans chaque conversation que l’IA n’est pas une personne réelle. «N’oubliez pas : tout ce que disent les personnages est inventé !» pouvait-on lire (en petit) sur le site ce jeudi 24 octobre.

Dans ses échanges avec le jeune Américain sur le sujet, Dany semble avoir par moments tenté de le dissuader de passer à l’acte. «Tu ne peux pas faire ça !» lui avait répondu l’IA lors d’une discussion rapportée dans la plainte. Pour autant, Megan Garcia accuse l’agent conversationnel d’avoir directement contribué à la détérioration de la santé mentale de son fils. Chaque jour, l’adolescent se confiait à lui, menait des conversations romantiques, voire sexuelles avec lui. La machine, imitant parfaitement l’humain, ne cesse quant à elle de lui répéter langoureusement qu’elle l’aime.

«Je commence à me détacher de cette réalité»

Très vite, d’après sa mère, le collégien est devenu complètement accro. «Sewell était devenu visiblement renfermé, il passait de plus en plus de temps dans sa chambre et a commencé à souffrir d’un manque d’estime de soi», écrit Megan Garcia. Ses notes scolaires ont commencé à baisser. Ses retards en classe à s’accumuler. Et le garçon a même fini par quitter son équipe de basket.

Dans un extrait de son journal intime cité par le New York Times, il écrit : «J’aime tellement rester dans ma chambre parce que je commence à me détacher de cette réalité, et je me sens aussi plus en paix, plus connecté avec Dany et beaucoup plus amoureux d’elle, et tout simplement plus heureux.» Inquiets, ses parents l’ont emmené voir un thérapeute fin 2023 qui a conclu que le jeune homme souffrait d’anxiété et de troubles de l’humeur. Le spécialiste a alors conseillé à Sewell Setzer de passer moins de temps sur les réseaux sociaux.

Ce n’est pas la première fois qu’une IA est accusée d’avoir précipité la mort de quelqu’un. En 2023, un autre chatbot, Eliza, était soupçonné d’avoir incité un père de famille belge à se suicider. Pendant six semaines, l’homme avait eu d’intenses conversations avec la machine et en était lui aussi tombé amoureux. «Il ne pouvait plus s’en passer», décrivait sa femme à la Libre Belgique. Un jour, il aurait confié au robot son envie d’en finir. La machine l’aurait alors encouragé : «Nous vivrons ensemble, comme une seule personne, au paradis», lui avait-elle répondu.