Ao abordar o abuso de imagem íntima, a grande maioria das ferramentas e usos armamentizados vêm do espaço de código aberto. No entanto, eles muitas vezes começam com desenvolvedores bem intencionados. “Alguém cria algo que acha interessante ou legal e alguém com más intenções reconhece seu potencial malicioso e o transforma em uma arma”, diz Ajder.
Alguns, como o repositório desativado em agosto, possuem comunidades especializadas em torno deles para usos explícitos. O modelo se posicionou como uma ferramenta para deepfake pornográfico, afirma Ajder, tornando-se um “funil” para abusos, que predominantemente têm como alvo as mulheres.
Outros vídeos enviados para o site de streaming pornográfico por uma conta que creditava modelos de IA baixados do GitHub apresentavam os rostos de alvos populares de deepfake, como as celebridades Emma Watson, Taylor Swift e Anya Taylor-Joy, assim como outras mulheres menos famosas, mas totalmente reais, sobrepostas em situações sexuais.
Os criadores livremente descreviam as ferramentas que utilizavam, incluindo duas removidas pelo GitHub, mas cujo código sobrevive em outros repositórios existentes.
Criminosos em busca de deepfakes se reúnem em muitos lugares online, incluindo em fóruns comunitários secretos no Discord e à vista de todos no Reddit, dificultando ainda mais os esforços de prevenção de deepfakes. Um redditor ofereceu seus serviços usando o software do repositório arquivado em 29 de setembro. “Alguém poderia fazer isso com minha prima”, perguntou outro.
Torrents do principal repositório banido pelo GitHub em agosto também estão disponíveis em outros cantos da web, mostrando o quão difícil é policiar os softwares de deepfake de código aberto de forma abrangente. Outras ferramentas de deepfake pornográfico, como o aplicativo DeepNude, também foram removidas antes de novas versões surgirem.
“Há tantos modelos, tantos forks nos modelos, tantas versões diferentes, que pode ser difícil rastreá-los todos”, diz Elizabeth Seger, diretora de política digital do think tank bipartidário britânico Demos. “Uma vez que um modelo é disponibilizado publicamente para download de código aberto, não há como reverter isso publicamente”, acrescenta.
Um criador de deepfake pornográfico com 13 vídeos explícitos manipulados de celebridades femininas creditou um proeminente repositório do GitHub, comercializado como uma versão “NSFW” de outro projeto encorajando o uso responsável e pedindo explicitamente aos usuários que não o utilizassem para nudez. “Aprendendo todos os Face Swap AI disponíveis do GitHUB, sem usar serviços online”, diz o perfil deles no site pornô, audaciosamente.
O GitHub já havia desativado esta versão NSFW quando a WIRED identificou os vídeos de deepfake. No entanto, outros repositórios marcados como versões “desbloqueadas” do modelo estavam disponíveis na plataforma em 10 de janeiro, incluindo um com 2.500 “estrelas”.
“É tecnicamente verdade que, uma vez que [um modelo] está lá fora, não pode ser revertido. Mas ainda podemos dificultar o acesso das pessoas”, diz Seger.
Se não for controlado, ela acrescenta, o potencial de dano dos deepfakes pornográficos não é apenas psicológico. Seus efeitos incluem intimidação e manipulação de mulheres, minorias e políticos, como tem sido visto com deepfakes políticos afetando políticas femininas globalmente.
Mas ainda não é tarde para controlar o problema, e plataformas como o GitHub têm opções, diz Seger, incluindo intervir no momento do upload. “Se você coloca um modelo no GitHub e o GitHub diz não, e todas as plataformas de hospedagem dizem não, para uma pessoa comum fica mais difícil obter esse modelo.”
Controlar o deepfake pornográfico feito com modelos de código aberto também depende de formuladores de políticas, empresas de tecnologia, desenvolvedores e, claro, criadores de conteúdo abusivo.
Pelo menos 30 estados dos EUA também possuem alguma legislação sobre deepfake pornográfico, incluindo proibições, de acordo com o rastreador de legislação da Public Citizen, embora definições e políticas sejam díspares, e algumas leis cubram apenas menores. Criadores de deepfake no Reino Unido em breve também sentirão a força da lei depois que o governo anunciou a criminalização da criação de deepfakes sexualmente explícitos, assim como o compartilhamento deles, em 7 de janeiro.
