A OpenAI anunciou uma nova ferramenta de clonagem de áudio baseada em inteligência artificial chamada Engine Voice na sexta-feira. Enquanto a empresa está obviamente orgulhosa do potencial dessa tecnologia – mencionando como ela poderia ser usada para fornecer assistência de leitura para crianças e dar voz àqueles que perderam a deles – a OpenAI está claramente muito nervosa sobre como isso poderia ser abusado. E com razão.
“OpenAI está comprometida em desenvolver uma IA segura e amplamente benéfica”, disse a empresa em um comunicado na sexta-feira, deixando claro suas preocupações já na primeira frase.
Engine Voice basicamente utiliza a mesma tecnologia por trás de sua API de texto para fala e de ChatGPT Voice, mas essa aplicação da tecnologia se trata de clonar uma voz ao invés de ler algo em voz alta com o tom e inflexão de um estranho. A OpenAI observa que sua tecnologia é excepcional, pois precisa apenas de uma amostra de 15 segundos para “criar vozes emotivas e realistas”.
“Hoje estamos compartilhando insights e resultados preliminares de uma prévia em pequena escala de um modelo chamado Engine Voice, que utiliza entrada de texto e uma única amostra de áudio de 15 segundos para gerar fala natural que se assemelha de perto à do falante original”, escreveu a empresa.
Não está claro que tipo de dados de treinamento foram usados para construir o Engine Voice, um ponto delicado para empresas de IA que têm sido acusadas de violar leis de direitos autorais ao treinar seus modelos em obras protegidas. Empresas como a OpenAI argumentam que seus métodos de treinamento se enquadram em “uso justo” sob a lei de direitos autorais dos EUA, mas diversos detentores de direitos processaram, reclamando que não foram compensados por seu trabalho.
O site da OpenAI possui clipes de áudio de exemplo que foram alimentados pelo Engine Voice e são bastante impressionantes. A habilidade de mudar o idioma do falante é também muito legal. No entanto, você ainda não pode experimentar por si mesmo.
Já existem várias ferramentas de clonagem de voz disponíveis, como o ElevenLabs, e tradutores como o Respeecher. Mas a OpenAI se tornou um gigante desde que lançou publicamente o ChatGPT no final de 2022. E assim que tornar o Engine Voice um produto disponível ao público (ainda não há palavra sobre uma data de lançamento), isso poderia abrir as comportas para todo tipo de novos abusos que nem imaginamos.
A declaração da OpenAI na sexta-feira observou: “Estamos adotando uma abordagem cautelosa e informada para um lançamento mais amplo devido ao potencial de uso indevido de voz sintética”, enfatizando as preocupações que todas as grandes empresas enfrentam agora com esse tipo de tecnologia de IA.
Um exemplo particularmente preocupante de alguém usando a clonagem de voz de IA para fins nefastos aconteceu earlier neste ano usando a voz do Presidente Joe Biden. Steve Kramer, que trabalhava para o candidato presidencial democrata azarão Dean Phillips, clonou a voz de Biden para criar uma mensagem que dizia às pessoas para não se incomodarem em votar nas primárias de New Hampshire. Kramer usou a ferramenta de voz de AI ElevenLabs e fez isso em “menos de 30 minutos”, enviando a mensagem de robocall para cerca de 5.000 pessoas, de acordo com o Washington Post.
“Esperamos iniciar um diálogo sobre a implantação responsável de vozes sintéticas e como a sociedade pode se adaptar a essas novas capacidades”, disse o comunicado da OpenAI. “Com base nessas conversas e nos resultados desses testes em pequena escala, tomaremos uma decisão mais informada sobre se e como implantar essa tecnologia em escala”.
Isso, é claro, é a faca de dois gumes de toda nova tecnologia. Trapaceiros sempre vão encontrar uma forma de explorar ferramentas emergentes para enganar as pessoas e arrancar seu dinheiro suado. Mas você não precisa usar vozes geradas por IA falsas para enganar as pessoas. Como relatamos mais cedo esta semana, o mais recente golpe cripto usa atores reais contratados no Fiverr para ler um roteiro que ajuda a vender seu golpe como autêntico.
