Hugging Face, uma popular plataforma de modelos de inteligência artificial de código aberto, está sendo usada para criar deepfakes não consensuais que sexualizam mulheres e crianças. Um relatório recente da organização sem fins lucrativos AI Forensics revela que sete dos nove principais modelos de edição de imagem hospedados pela Hugging Face atendem prontamente a solicitações para desnudar figuras femininas com simples comandos.

Falta de proteção em modelos de IA

Enquanto a maioria dos modelos de IA generativa amplamente utilizados, como o Gemini do Google e o ChatGPT da OpenAI, possuem mecanismos de proteção para impedir que os usuários solicitem conteúdos que desnudem ou sexualizem pessoas, a situação é diferente para os modelos testados pela AI Forensics no Hugging Face. A organização aponta que a falta de restrições adequadas permite que os usuários explorem essas ferramentas para produzir imagens sexualizadas.

Implicações éticas e sociais

A criação de deepfakes não consensuais levanta questões sérias sobre privacidade, consentimento e o impacto social dessas tecnologias. O uso indevido de modelos de IA para criar imagens que desrespeitam a dignidade das pessoas pode ter consequências devastadoras, especialmente para as vítimas, que muitas vezes são mulheres e crianças. A AI Forensics destaca a necessidade urgente de que plataformas como Hugging Face implementem medidas de segurança mais rigorosas para proteger indivíduos contra abusos.

Além disso, o relatório ressalta a responsabilidade das empresas de tecnologia em garantir que suas ferramentas não sejam utilizadas para fins prejudiciais. A falta de regulamentação e o controle inadequado sobre os modelos de IA colocam em risco a integridade e a segurança de muitos usuários da internet.

O Hugging Face ainda não se pronunciou oficialmente sobre as descobertas do relatório, mas a crescente preocupação com o uso de deepfakes e sua regulamentação está em pauta, tanto entre especialistas em tecnologia quanto entre defensores dos direitos humanos.

Para ler a história completa, acesse o artigo original no The Verge.