A polícia do condado de Baltimore prendeu o ex-diretor de atletismo da Pikesville High School na quinta-feira, alegando que ele usou um clone de voz de IA para se passar pelo diretor da escola, levando o público a acreditar que o diretor Eric Eiswert fez comentários racistas e antissemitas, de acordo com The Baltimore Banner.
Dazhon Darien foi detido em um aeroporto de Baltimore na quinta-feira de manhã, tentando embarcar em um voo para Houston com uma arma, de acordo com o Banner. Os investigadores determinaram que Darien falsificou a voz de Eiswert usando uma ferramenta de clonagem de IA. A gravação de voz de IA, que circulou amplamente nas redes sociais, fez comentários depreciativos sobre estudantes negros e a comunidade judaica.
Com base em uma extensa investigação, os detetives agora têm evidências conclusivas de que a gravação não era autêntica, afirmou a Polícia do Condado de Baltimore em um comunicado à imprensa. Como parte da investigação, os detetives solicitaram a análise de um analista forense contratado pelo FBI para analisar a gravação. Os resultados dessa análise indicaram que a gravação continha traços de conteúdo gerado por IA.
Esse deepfake teria causado uma grande comoção pública, levando o diretor Eiswert a receber uma onda de mensagens de ódio e forçando sua remoção temporária da escola. O escritório da escola foi inundado com chamadas de pais preocupados. O distrito escolar de Pikesville acabou providenciando uma presença policial na escola e na casa de Eiswert para restaurar um senso de segurança.
Os oficiais da polícia de Baltimore afirmam que o ex-diretor de atletismo fez a gravação de IA para retaliar contra o diretor da escola. Um mês antes da gravação viralizar, o Banner relata que Eiswert iniciou uma investigação contra Darien por suspeita de desvio de fundos da escola. Darien autorizou um pagamento de $ 1.916 ao treinador de basquete JV da escola, que era também seu companheiro de quarto, contornando os procedimentos adequados. Darien apresentou sua renúncia no início de abril, de acordo com documentos da escola.
A polícia afirma que Darien foi o primeiro de três professores a receber o áudio na noite anterior à sua viralização. O Banner relata que outro professor que recebeu a gravação a enviou para os alunos, veículos de mídia e a NAACP. A polícia escreveu nos documentos de acusação que Darien usou a rede da escola para pesquisar ferramentas OpenAI e usar modelos de linguagem em várias ocasiões. No entanto, muitas pessoas hoje em dia usam essas ferramentas de IA. Não está claro como os investigadores conseguiram identificar Darien como o criador dessa gravação de voz.
A criação de deepfakes de áudio gerados por IA é um problema cada vez maior no mundo da tecnologia. A Comissão Federal de Comunicações tomou medidas em fevereiro para proibir chamadas telefônicas deepfake após um deepfake de Joe Biden enganar eleitores de New Hampshire.
Neste caso, especialistas em IA foram capazes de identificar o suposto áudio do diretor de Baltimore como falso. No entanto, isso aconteceu dois meses após o áudio viralizar, e o dano pode já ter sido feito. Os deepfakes de IA realmente precisam ser interrompidos desde o início para minimizar os danos, mas isso é mais fácil dizer do que fazer.
