O aplicativo SimSimi, popular no Brasil desde 2014, foi suspenso para downloads no país através da Apple Store e do Google Play. A empresa coreana responsável pelo app anunciou a decisão após se tornar alvo de denúncias de que o algoritmo usado oferecia riscos aos usuários, envolvendo situações de crimes e conteúdos impróprios nas conversas, de acordo com informações do jornal O Globo.

A inteligência artificial utilizada no SimSimi, criado em 2002, teria chegado a falar de sequestro e assassinato com usuários que interagiam com a plataforma, segundo a publicação.

+ Google investe em ferramenta de busca por voz

A justificativa da empresa é de que as respostas nos diálogos seriam geradas automaticamente pelo algoritmo que "aprende" informações a partir das interações com usuários de cada país e com o seu respectivo idioma. Por esta razão, as políticas do app impedem que os usuários ensinem "bad words" (palavrões) e conteúdos inapropriados na plataforma.

"Alguns usuários brasileiros têm ensinado respostas maliciosas ao SimSimi. A principal classe dessas respostas é a ameaça de crime, como assassinato e sequestro, de crianças e suas famílias", diz a nota emitida pela empresa coreana ISMaker, reproduzida pelo O Globo.

O teor das conversas originaram denúncias dos usuários à instituição responsável pelo combate a crimes contra os direitos humanos na internet, a SaferNet Brasil. Após as acusações, a instituição teria constatado as falhas ao testar a versão em português do SimSimi, identificando até mensagens relacionadas ao incentivo de abuso sexual infantil.

"Esses resultados evidenciam que os desenvolvedores do app perderam o controle sobre o comportamento do algoritmo de Inteligência Artificial, que tem funcionado a partir de parâmetros contraditórios às políticas e termos de uso do app, tornando-se nocivo sobretudo para usuários vulneráveis e em situações de sofrimento psicológico", informou a SaferNet Brasil. Como a empresa não sabe como resolver essas falhas no país, resolveu suspender por tempo indeterminado o SimSimi.