O Instagram está inundado com centenas de influenciadores gerados por inteligência artificial que estão roubando vídeos de modelos reais e criadores de conteúdo adulto, dando-lhes faces geradas por IA e monetizando seus corpos com links para sites de relacionamento, Patreon, concorrentes do OnlyFans e vários aplicativos de IA.
A prática, primeiro relatada pela 404 Media em abril, explodiu em popularidade, mostrando que o Instagram é incapaz ou não está disposto a interromper a enxurrada de conteúdo gerado por IA em sua plataforma e proteger os criadores humanos no Instagram que dizem estar competindo com o conteúdo de IA de uma forma que está impactando sua capacidade de ganhar a vida.
De acordo com nossa análise de mais de 1.000 contas de Instagram geradas por IA, canais do Discord onde as pessoas que criam esse conteúdo compartilham dicas e discutem estratégias, e vários guias que explicam como ganhar dinheiro com “pimping” de IA, agora é trivialmente fácil criar essas contas e monetizá-las usando uma variedade de ferramentas e aplicativos de IA prontos para uso. Alguns desses aplicativos estão hospedados nas lojas da Apple App e Google Play. Nossa investigação mostra que o que antes era um problema de nicho na plataforma industrializou em escala e mostra o que as redes sociais podem se tornar no futuro próximo: um espaço onde o conteúdo gerado por IA supera o dos humanos.
Elaina St James, uma criadora de conteúdo adulto que promove seu trabalho no Instagram, disse que ela e outros criadores de conteúdo adulto agora estão competindo diretamente com essas contas fraudulentas de IA, muitas das quais usam fotografias e vídeos roubados de criadores de conteúdo adulto e modelos do Instagram. Ela disse que, embora possa haver outras mudanças no algoritmo do Instagram que possam ter contribuído para isso, desde a explosão de contas de influenciadores de IA no Instagram, seu alcance diminuiu tremendamente, de 1 milhão a 5 milhões de visualizações por mês para não ultrapassar um milhão nos últimos 10 meses, e às vezes ficando abaixo de 500.000 visualizações.
“Esta é provavelmente uma das razões pelas quais minhas visualizações estão diminuindo”, disse St James em entrevista. “É porque estou competindo com algo que é antinatural.”
Alexios Mantzarlis, diretor da iniciativa de segurança, confiança e segurança na Cornell Tech e anteriormente principal de inteligência de confiança e segurança no Google, compilou uma lista de cerca de 900 contas que a 404 Media revisou em sua investigação. Mantzarlis, que tropeçou em uma dessas contas enquanto usava casualmente o Instagram, disse que começou a pesquisar as contas de influenciadores geradas por IA porque isso poderia mostrar para onde o conteúdo gerado por IA está levando as redes sociais e a internet de forma mais ampla, onde ele vê uma “realidade mesclada crescente”. Mantzarlis acredita que poderia facilmente ter encontrado mais 900 contas e que o único motivo pelo qual não obteve mais é que o Instagram restringiu a conta que ele usou para raspar a plataforma.
“Parecia um possível sinal do que as redes sociais vão parecer daqui a cinco anos”, disse Mantzarlis em entrevista. “Porque isso pode estar chegando a outras partes da internet, não apenas à niche de pessoas atraentes no Instagram. Isso é provavelmente um sinal de que vai ser bastante ruim.”
As Contas
Das mais de 1.000 contas de influenciadores do Instagram geradas por IA que revisamos, 100 incluíam pelo menos algum conteúdo deepfake, que pegava vídeos existentes, normalmente de modelos e artistas de entretenimento adulto, e substituía seus rostos por uma face gerada por IA para fazer com que esses vídeos parecessem novo, conteúdo original consistente com as outras imagens e vídeos gerados por IA compartilhados pelo influenciador gerado por IA. As outras 900 contas compartilhavam imagens que em alguns casos foram treinadas em fotografias reais e em alguns casos feitas para se parecer com celebridades, mas eram totalmente geradas por IA, não fotografias ou vídeos editados.
Dessas 100 contas que compartilhavam vídeos deepfake ou com troca de rostos, 60 se identificam como sendo geradas por IA, escrevendo em suas biografias que são um “modelo e influenciador virtual” ou declarando “todas as fotos feitas com IA e aplicativos.” As outras 40 não incluem nenhuma declaração afirmando que são geradas por IA.
Uma das contas maiores nesta última categoria é “Chloe Johnson,” que tem uma conta verificada no Instagram e 171.000 seguidores. Esta conta foi deletada pelo Meta nas últimas semanas.
