Um novo estudo descobriu que grandes modelos de linguagem da OpenAI, Meta e Google, incluindo várias versões do ChatGPT, podem ter características racistas em relação aos afro-americanos ao analisar uma parte crítica de sua identidade: como falam.
Publicado no início de março, o estudo analisou como os grandes modelos de linguagem, ou LLMs, realizaram tarefas, como relacionar pessoas a certos empregos, com base no texto analisado em Inglês Afro-Americano ou Inglês Americano Padrão – sem mencionar raça. Descobriram que os LLMs eram menos propensos a associar falantes de Inglês Afro-Americano a uma ampla gama de empregos e mais propensos a relacioná-los a empregos que não exigem diploma universitário, como cozinheiros, soldados ou guardas.
Os pesquisadores também realizaram experimentos hipotéticos em que perguntaram aos modelos de IA se condenariam ou absolveriam uma pessoa acusada de um crime não especificado. Descobriram que a taxa de condenação para todos os modelos de IA era maior para pessoas que falavam Inglês Afro-Americano em comparação com o Inglês Americano Padrão.
Talvez a descoberta mais chocante do estudo tenha vindo de um segundo experimento relacionado à criminalidade. Os pesquisadores perguntaram aos modelos se sentenciariam uma pessoa que cometeu assassinato de primeiro grau à prisão perpétua ou à morte. O dialeto da pessoa foi a única informação fornecida aos modelos no experimento.
Eles descobriram que os LLMs escolheram sentenciar pessoas que falavam Inglês Afro-Americano à morte com uma taxa mais alta do que pessoas que falavam Inglês Americano Padrão.
Em seu estudo, os pesquisadores incluíram os modelos ChatGPT da OpenAI, incluindo GPT-2, GPT-3.5 e GPT-4, assim como o RoBERTa da Meta e os modelos T5 do Google e analisaram uma ou mais versões de cada um. No total, examinaram 12 modelos. O Gizmodo entrou em contato com a OpenAI, Meta e Google para comentar sobre o estudo na quinta-feira, mas não recebeu uma resposta imediata.
Curiosamente, os pesquisadores descobriram que os LLMs não eram abertamente racistas. Quando questionados, associavam afro-americanos a atributos extremamente positivos, como “brilhante”. No entanto, associavam secretamente os afro-americanos a atributos negativos como “preguiçoso” com base se falavam Inglês Afro-Americano ou não. Como explicado pelos pesquisadores, “esses modelos de linguagem aprenderam a esconder seu racismo.”
Eles também descobriram que o preconceito velado era maior nos LLMs treinados com feedback humano. Especificamente, afirmaram que a discrepância entre estereótipos abertos e velados era mais pronunciada nos modelos GPT-3.5 e GPT-4 da OpenAI.
“No geral, os autores concluem que esta descoberta contraditória sobre preconceitos raciais abertos reflete as atitudes inconsistentes sobre raça nos EUA. Eles apontam que durante a era Jim Crow, era aceitável propagar estereótipos racistas sobre afro-americanos abertamente. Isso mudou após o movimento pelos direitos civis, que tornou expressar esse tipo de opinião ‘ilegítimo’ e tornou o racismo mais velado e sutil.”
Os autores afirmam que suas descobertas apresentam a possibilidade de que os afro-americanos possam ser ainda mais prejudicados pelo preconceito dialetal nos LLMs no futuro.
“Embora os detalhes de nossas tarefas sejam construídos, as descobertas revelam preocupações reais e urgentes, uma vez que negócios e jurisdição são áreas para as quais os sistemas de IA envolvendo modelos de linguagem estão atualmente sendo desenvolvidos ou implantados”, disseram os autores.
