A OpenAI anunciou uma nova ferramenta de clonagem de áudio baseada em IA chamada Voice Engine na sexta-feira. Embora a empresa esteja obviamente orgulhosa do potencial dessa tecnologia – destacando como ela poderia ser usada para fornecer assistência na leitura para crianças e dar voz àqueles que perderam a deles – a OpenAI está claramente muito nervosa sobre como isso poderia ser abusado. E com razão.
“OpenAI está comprometida em desenvolver IA segura e amplamente benéfica”, afirmou a empresa em um comunicado na sexta-feira, deixando claras suas preocupações logo na primeira frase.
O Voice Engine basicamente usa a mesma tecnologia por trás de sua API de texto para fala e ChatGPT Voice, mas essa aplicação da tecnologia é toda sobre clonar uma voz em vez de ler em voz alta algo com o tom e a inflexão de um estranho. A OpenAI observa que sua tecnologia é excepcional, pois precisa de apenas uma amostra de 15 segundos para “criar vozes emotivas e realistas”.
“Hoje estamos compartilhando insights preliminares e resultados de uma prévia em pequena escala de um modelo chamado Voice Engine, que usa entrada de texto e uma única amostra de áudio de 15 segundos para gerar fala natural que se assemelha de perto à do alto-falante original”, escreveu a empresa.
Não está claro que tipo de dados de treinamento foram usados para construir o Voice Engine, um ponto delicado para empresas de IA que foram acusadas de violar leis de direitos autorais ao treinar seus modelos em obras protegidas. Empresas como a OpenAI argumentam que seus métodos de treinamento contam como “fair use” sob a lei de direitos autorais dos EUA, mas vários detentores de direitos têm processado, reclamando que não foram compensados pelo seu trabalho.
O site da OpenAI possui exemplos de índios de áudio que foram alimentados através do Voice Engine e são bastante impressionantes. A capacidade de alterar o idioma que alguém está falando também é muito legal. Mas você não pode experimentar por si mesmo ainda.
Já existem várias ferramentas de clonagem de voz disponíveis, como ElevenLabs, e tradutores como Respeecher. Mas a OpenAI se tornou um gigante desde que lançou o ChatGPT publicamente no final de 2022. E assim que tornar o Voice Engine um produto disponível ao público (ainda não há data de lançamento), poderia abrir as comportas para todo tipo de novos abusos dos quais nunca sequer sonhamos.
A declaração da OpenAI na sexta-feira observou: “Estamos adotando uma abordagem cautelosa e informada para um lançamento mais amplo devido ao potencial de uso indevido da voz sintética”, enfatizando as preocupações que todas as grandes empresas enfrentam agora com esse tipo de tecnologia de IA.
Um exemplo particularmente preocupante de alguém usando clonagem de voz de IA para fins nefastos aconteceu no início deste ano usando a voz do Presidente Joe Biden. Steve Kramer, que trabalhou para o candidato presidencial democrata Dean Phillips, clonou a voz de Biden para criar uma mensagem que dizia para as pessoas não se incomodarem em votar nas primárias de New Hampshire. Kramer usou a ferramenta de voz da IA ElevenLabs e fez isso em “menos de 30 minutos”, enviando a mensagem por robô para cerca de 5.000 pessoas, de acordo com o Washington Post.
“Esperamos iniciar um diálogo sobre o uso responsável de vozes sintéticas e como a sociedade pode se adaptar a essas novas capacidades”, afirmou a declaração da OpenAI. “Com base nessas conversas e nos resultados desses testes em pequena escala, tomaremos uma decisão mais informada sobre se e como implantar essa tecnologia em escala.”
Isso, é claro, é a espada de dois gumes de toda nova tecnologia. Os golpistas sempre encontrarão uma maneira de explorar ferramentas emergentes para enganar as pessoas e tirar seu dinheiro suado. Mas você não precisa usar vozes falsas geradas por IA para enganar as pessoas. Como relatamos anteriormente nesta semana, o mais recente golpe de criptomoeda usa atores reais contratados no Fiverr para ler um roteiro que ajuda a vender seu golpe como autêntico.
