Plataformas Meta recentemente veicularam anúncios de uma ferramenta de geração de pornografia por inteligência artificial que aparentemente encorajava os usuários a criar vídeos deepfaked que se assemelham a políticas femininas dos EUA, apesar das políticas da empresa contra anúncios que contenham material sexual. É o mais recente de uma série de falhas do Meta em manter anúncios de ferramentas que produzem imagens íntimas não consensuais fora de suas plataformas.
A ferramenta, chamada de Kromix, se autodenomina um “estilizador de imagens por inteligência artificial”. Um locutor em um dos anúncios em vídeo, visualizado pela WIRED, promove a ferramenta como não tendo “restrições”, dizendo que “todos os personagens são pessoas reais” e descrevendo-a como “a inteligência artificial que os homens realmente usam”. Em um anúncio, uma mulher que se assemelha de perto a uma proeminente política feminina dos EUA é vista na frente de uma bandeira dos EUA e da bandeira do presidente dos EUA acima da legenda “E se ela se mudasse?” Ela então pisca, antes de o anúncio cortar para uma cena de uma mulher com o mesmo rosto atuando em um vídeo pornográfico.
O aplicativo Kromix, que estava hospedado na App Store da Apple antes de um pedido de comentário da WIRED, convida os usuários pagantes a fazer upload de fotos para que possam ser usadas em cenários como “estupro no quarto” e “amor da Disney”. Os vídeos no aplicativo também apresentam vídeos pornográficos gerados por IA de mulheres vestindo fantasias do Homem-Aranha. Os pedidos de comentário enviados a um contato listado no aplicativo ficaram sem resposta.
A Apple tem lutado para manter ferramentas semelhantes, que violam suas políticas contra imagens íntimas não consensuais, nudez e conteúdo sexual explícito, fora da App Store. O procurador da cidade de San Francisco enviou uma carta de cessação e desistência à empresa no início deste verão exigindo a remoção de 13 aplicativos específicos e que pare de “ajudar e incentivar” a venda de imagens explícitas deepfake.
Os anúncios, de acordo com a biblioteca de anúncios do Meta, foram direcionados exclusivamente para usuários masculinos com o slogan “Desencadeie a mágica da IA de próxima geração” e foram removidos depois que a WIRED perguntou sobre eles. Ao todo, a conta vinculada à campanha veiculou 32 anúncios, de acordo com o Meta, que foram veiculados por entre cinco e 46 horas. A maioria recebeu 10 ou menos impressões.
Katie Paul, diretora do Tech Transparency Project, que descobriu os anúncios, diz: “Todos os anúncios que vimos até agora de forma ampla sobre a questão de nudez estão exclusivamente sexualizando e nudificando e colocando mulheres em pornografia gerada por IA. E isso levanta muitas questões sobre como o Meta vai lidar com esse tipo de conteúdo, não apenas de forma ampla, mas quando se trata de políticas femininas, quando a empresa está ativamente veiculando anúncios contendo esse tipo de conteúdo em sua plataforma”.
Políticas e autoridades eleitas, predominantemente mulheres, têm sido alvo de imagens e vídeos deepfake não consensuais há anos. Em janeiro, como o Grok foi usado para criar cerca de 3 milhões de imagens sexualizadas de mulheres e meninas, autoridades na Suécia, Inglaterra e Irlanda do Norte foram alvo de pessoas que usavam a tecnologia, muitas vezes usando imagens oficiais como ponto de partida.
“À medida que a produção e distribuição de conteúdo gerado por IA se democratizaram, mídias anteriormente benignas – retratos oficiais, vídeo de uma coletiva de imprensa – se tornaram matéria-prima para ferramentas de baixo e nenhum código que qualquer pessoa com conexão à internet pode usar”, diz Benjamin Shultz, o pesquisador principal do American Sunlight Project, que está investigando como o ecossistema da tecnologia deepfake prejudicial é usado para visar políticos.
De acordo com a documentação pública da empresa, antes que um anúncio seja publicado nas plataformas do Meta, que incluem Instagram e Facebook, cada anúncio é “revisado” contra suas políticas que detalham o que os anunciantes podem e não podem postar. “Nosso sistema de revisão de anúncios depende principalmente de ferramentas automatizadas para verificar anúncios e ativos empresariais contra nossas políticas”, dizem os padrões de publicidade da empresa, destacando que a revisão começa antes que os anúncios comecem a ser veiculados. A página que veiculava os anúncios foi criada em 3 de agosto, pouco antes de os anúncios começarem a ser veiculados, e não tinha seguidores – duas coisas que poderiam ter indicado ao Meta que a conta era suspeita.
