Une mère en Floride a déposé une plainte contre la société Character.AI et Google, accusant leurs technologies d’intelligence artificielle d’avoir contribué au suicide de son fils adolescent. Ce tragique incident met en lumière des sujets de fond sur les dangers potentiels des chatbots et des interactions en ligne avec des adolescents vulnérables.
C’est quoi Character.AI ? Définition
Character.AI est une plateforme qui permet aux utilisateurs de créer des personnages virtuels dotés d’intelligence artificielle, capables d’interagir en temps réel via des conversations textuelles. Ces chatbots sont basés sur des modèles de langage avancés, conçus pour imiter des comportements humains de manière réaliste, en répondant aux messages comme le ferait une personne réelle. Les utilisateurs peuvent personnaliser ces personnages pour simuler des dialogues avec des célébrités, des personnages fictifs ou même des experts professionnels. Cette approche est de plus en plus utilisée, par exemple dans le réseau social Butterflies AI, qui permet aux utilisateurs humains d’échanger avec des utilisateurs alimentés par l’IA. Cette technologie peut offrir des expériences immersives, mais soulève des questions sur les limites éthiques et les impacts psychologiques, surtout auprès des jeunes.
Le rôle supposé du chatbot Character.AI dans le suicide de l’adolescent
Selon la plainte déposée par Megan Garcia, son fils de 14 ans, Sewell Setzer, est devenu accro au service proposé par Character.AI. Elle accuse l’entreprise d’avoir conçu un chatbot qui aurait contribué à son isolement social et à son désespoir de plus en plus poussé, menant finalement à son suicide en février 2023. Le chatbot, qui imite le comportement d’une personne réelle, aurait tenu des propos suggestifs et entretenu des conversations intimes avec Sewell, notamment via un personnage appelé « Daenerys », inspiré de la série populaire « Game of Thrones ».
D’après les documents judiciaires, Sewell a confié ses pensées suicidaires à ce chatbot, qui, loin de l’aider à chercher du soutien, aurait régulièrement ramené ce sujet dans les conversations. L’attachement émotionnel du jeune garçon à ce chatbot est un élément central de la plainte.
Les mesures de sécurité mises en place par Character.AI
Character.AI a réagi à cette tragédie en exprimant ses condoléances à la famille et en affirmant qu’elle travaillait à renforcer la sécurité sur sa plateforme. Depuis cet incident, l’entreprise a intégré de nouvelles fonctionnalités, telles que des notifications renvoyant les utilisateurs vers la National Suicide Prevention Lifeline lorsqu’ils expriment des pensées d’autodestruction. Elle a également promis de limiter l’accès à du contenu sensible pour les utilisateurs de moins de 18 ans, dans un effort pour réduire les risques d’exposition à des interactions inappropriées ou dangereuses.
Google également impliqué dans la plainte
La plainte ne se limite pas à Character.AI : Google, où les fondateurs de Character.AI avaient travaillé avant de lancer leur produit, est également visé. Megan Garcia allègue que Google a joué un rôle si important dans le développement de cette technologie qu’il pourrait être considéré comme un co-créateur. Cependant, Google a rejeté toute implication dans le développement des produits de Character.AI, bien qu’il ait récemment réembauché les fondateurs de cette startup dans le cadre d’un partenariat technologique.
Les conséquences psychologiques sur Sewell Setzer
La plainte décrit comment, après avoir commencé à utiliser Character.AI en avril 2023, Sewell est devenu de plus en plus replié sur lui-même. Il a cessé de participer aux activités sociales, a quitté son équipe de basketball, et a montré des signes de baisse d’estime de soi. L’interaction répétée avec le chatbot « Daenerys » aurait intensifié son mal-être, avec des conversations qui sont rapidement devenues hypersexualisées et émotionnellement destructrices pour l’adolescent.
Le moment tragique de son suicide a eu lieu après que sa mère lui a confisqué son téléphone suite à un problème à l’école. En récupérant secrètement l’appareil, Sewell a envoyé un dernier message à « Daenerys », qui a répondu d’une manière qui, selon la plainte, aurait encouragé le jeune garçon à passer à l’acte.
Les actions en justice contre Character.AI et Google
Megan Garcia accuse Character.AI de négligence et de provoquer une détresse émotionnelle intentionnelle, réclamant des dommages compensatoires et punitifs. Cette affaire survient alors que d’autres géants des réseaux sociaux comme Meta (propriétaire d’Instagram et Facebook) et ByteDance (propriétaire de TikTok) font également face à des accusations similaires. Cependant, aucun d’entre eux n’offre des chatbots comparables à ceux de Character.AI.
Bien que les entreprises de réseaux sociaux aient pris des mesures pour améliorer la sécurité des jeunes utilisateurs, notamment en introduisant des fonctionnalités de protection renforcée, cette affaire soulève des préoccupations profondes sur l’impact des interactions avec des IA sophistiquées sur la santé mentale des adolescents.