A OpenAI está enfrentando um problema cada vez mais urgente: imagens falsas geradas por sua própria tecnologia.
A empresa de IA anunciou na terça-feira que está lançando uma ferramenta para detectar conteúdo criado por seu gerador de texto para imagem DALL-E 3. A empresa também disse que está abrindo inscrições para a primeira leva de testadores para seu classificador de detecção de imagem, que “prevê a probabilidade de uma imagem ter sido gerada” pelo DALL-E 3.
“Nosso objetivo é permitir pesquisas independentes que avaliem a eficácia do classificador, analisem sua aplicação no mundo real, exponham considerações relevantes para esse uso e explorem as características do conteúdo gerado por IA”, disse a OpenAI em um comunicado.
A OpenAI disse que testes internos de uma versão inicial de seu classificador mostraram alta precisão para detectar diferenças entre imagens não geradas por IA e conteúdo criado pelo DALL-E 3. A ferramenta detectou corretamente 98% das imagens geradas pelo DALL-E 3, enquanto menos de 0,5% das imagens não geradas por IA foram incorretamente identificadas como geradas pela IA.
Edições nas imagens, como compressão, recorte e saturação, têm um “impacto mínimo” no desempenho da ferramenta, segundo a OpenAI. No entanto, a empresa disse que outros tipos de modificações “podem reduzir o desempenho”. A empresa também descobriu que sua ferramenta não tem um bom desempenho na distinção entre imagens geradas pelo DALL-E 3 e conteúdo gerado por outros modelos de IA.
“A preocupação com as eleições está impulsionando muito desse trabalho”, disse David Robinson, chefe de planejamento de políticas da OpenAI, ao Wall Street Journal. “É o principal contexto de preocupação que ouvimos dos formuladores de políticas.”
Uma pesquisa de eleitores dos EUA feita pelo Instituto de Política de IA em fevereiro descobriu que 77% dos entrevistados disseram que, quando se trata de geradores de vídeo de IA, como o Sora da OpenAI, que ainda não está disponível ao público, estabelecer limites e salvaguardas para evitar o uso indevido é mais importante do que tornar os modelos mais amplamente disponíveis. Mais de dois terços dos entrevistados disseram que os desenvolvedores de modelos de IA devem ser responsabilizados legalmente por qualquer atividade ilegal.
“Isso realmente mostra como o público está levando essa tecnologia a sério”, disse Daniel Colson, fundador e diretor executivo da AIPI. “Eles acham que é poderosa. Eles viram a maneira como as empresas de tecnologia implementam esses modelos e algoritmos e tecnologias, e isso leva a resultados que transformam completamente a sociedade.”
Além de lançar sua ferramenta de detecção, a OpenAI disse na terça-feira que está se juntando ao Comitê de Direção do C2PA, ou Coalização para Proveniência e Autenticidade de Conteúdo, que é um padrão amplamente usado para certificar conteúdo digital. A empresa disse que começou a adicionar metadados do C2PA às imagens geradas e editadas pelo DALL-E 3 no ChatGPT e em sua API no início deste ano, e irá integrar os metadados do C2PA para o Sora quando este for amplamente lançado.
