Em 2016, a Microsoft criou um perfil no Twitter chamado Tay. A chatbot, uma robô que usava IA (inteligência artificial) para interagir com adolescentes, saiu do controle. A ideia era que Tay aprendesse com as redes, mas acabou endossando o Holocausto e teorias da conspiração, além de reproduzir piadas racistas e machistas. A empresa pediu desculpas e tirou-a do ar em menos de 24 horas.

Em "Coded Bias", documentário disponível no Netflix, Tay é o fio condutor para pontuar como a IA pode ser contaminada pelo conteúdo racista e machista que circula aleatoriamente pelas redes e as possíveis implicações negativas para o uso de bots sem regulação.

Outra protagonista, Joy Buolamwini, estudante de doutorado em ciência da computação no MIT, vai além: mostra como os próprios algoritmos podem carregar preconceitos. No caso, algoritmos de reconhecimento facial.

Buolamwini descobriu que os sistemas identificam erroneamente rostos pretos a uma taxa muito maior do que os brancos. Negra, ela mesma foi vítima dessa falha quando seu próprio rosto não foi identificado em um teste. Quando colocava uma máscara totalmente branca, porém, descobriu que a câmera conseguia captar os seus traços.

Buolamwini passou a estudar os softwares das maiores empresas de tecnologia dos EUA, como IBM, Microsoft, Google e Amazon. Comprovou que os algoritmos desses grandes grupos reconhecem com mais facilidade rostos de homens brancos. Identificou também que o recrutamento da Amazon, feito por um robô, excluía a maioria das mulheres do processo seletivo.

Por que o padrão se repete? Buolamwini conclui que, por trás da criação de cada código, existe, provavelmente, uma equipe de homens brancos, chefiados por homens brancos.
E não é por falta de profissionais gabaritadas. Como contraponto para a predominância masculina nas empresas de tecnologia, a diretora Shalini Kantayya usa depoimentos, em sua maioria, de mulheres com currículos dignos de ocupar posições de liderança.

Entre as entrevistas, traz mulheres como Cathy O'Neil, autora de "Algoritmos de Destruição em Massa", Meredith Broussard, professora da NYU (Universidade de Nova York) que escreveu "Artificial Unintelligence: How Computers Misunderstand the World" [desinteligência artificial: como os computadores desentendem o mundo]", e Timnit Gebru, ex-cientista de IA do Google.

Além da discussão do racismo e do machismo institucional, o doc toca em outro ponto. O que é mais danoso: a vigilância estatal ou a corporativa?

Entre os exemplos de controle via Estado, o documentário mostra o sistema de pontuação desenvolvido pela China, onde o governo está ciente de cada passo do cidadão. Há pontuação para desempenho escolar, para pagamento de dívidas, para atividades rotineiras. E essa vigilância não é escondida, é explícita. Cada um tem acesso ao escore do outro. Em um depoimento, uma chinesa diz que escolhe pelo escore se sairá com um pretendente. "Economizo meu tempo."

Em Hong Kong, durante os protestos pró-democracia em 2019, a vigilância teve conotação política. O reconhecimento facial foi usado pelo governo para perseguir manifestantes, que reagiram à tecnologia invasiva usando lasers, quebrando câmera e cobrindo os rostos com máscaras.

Já no Reino Unido, o reconhecimento facial foi adotado de modo experimental pela polícia de Londres. Silkie Carbo, da ONG Big Brother Watch, compara a coleta biométrica ao ato de recolher, sem autorização, digitais ou amostras de DNA. Segundo a ONG, 98% das correspondências pelas câmeras identificaram incorretamente inocentes como se fossem foragidos.

"Isso acontece não só na China mas também no Ocidente -estamos sendo avaliados constantemente, a diferença é que os dados são vendidos comercialmente pelas big techs", diz Broussard.

O estado de vigilância, seja para repressão política seja para ganho econômico, precisa ser igualmente vigiado, alerta o documentário. Para a diretora, o caminho é a regulamentação das empresas. Reino Unido e EUA trazem exemplos, mas cada país terá de encontrar sua solução.

Coded Bias
Produção: EUA, 2020
Direção: Shalini Kantayya
Disponível: na Netflix