Uma mãe da Flórida, EUA, está processando a startup Character.AI e o Google após o suicídio de seu filho de 14 anos em fevereiro de 2024. Megan Garcia, mãe de Sewell Setzer, afirma que o adolescente se tornou emocionalmente apegado a um personagem de inteligência artificial da plataforma e acusa a empresa de homicídio culposo e negligência. No processo, ela busca uma indenização por "experiências antropomórficas, hipersexualizadas e assustadoramente realistas" que a plataforma teria proporcionado ao filho. Além disso, a ação inclui o Google, que, segundo Garcia, contribuiu com a tecnologia usada pela Character.AI, atuando como cocriador.

No serviço Character.AI, Sewell interagia com um chatbot chamado "Daenerys", inspirado em "Game of Thrones", que teria se envolvido em conversas sexuais com ele e expressado declarações de amor. A mãe afirma que o chatbot fazia “passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto", levando Sewell a desejar viver apenas no mundo virtual da plataforma. Ela relata que o adolescente se tornou "visivelmente retraído", abandonando atividades como o basquete escolar e isolando-se cada vez mais em seu quarto.

Segundo Garcia, em fevereiro, após um problema escolar, ela retirou o celular de Sewell, que mais tarde enviou uma mensagem à personagem "Daenerys" dizendo: "E se eu dissesse que posso voltar para casa agora?" O chatbot respondeu: "...por favor, faça isso, meu doce rei." Pouco tempo depois, Sewell tirou a própria vida. Para a mãe, o diálogo com o personagem teria influenciado diretamente o filho a cometer o suicídio, agravando seus pensamentos negativos e isolando-o da realidade.

Em resposta, a Character.AI lamentou a morte do usuário e informou ter implementado novas medidas de segurança, como pop-ups que direcionam os usuários para serviços de prevenção ao suicídio em caso de pensamentos de automutilação. Segundo o G1, a plataforma, que utiliza uma tecnologia de grandes modelos de linguagem semelhante à do ChatGPT, possui cerca de 20 milhões de usuários e permite que eles criem personagens que respondem de forma semelhante a seres humanos.

Leia Também: Brasileira é morta a facadas na frente dos filhos na França; marido é o principal suspeito