Os chatbots de inteligência artificial, como o ChatGPT da OpenAI, estão sendo vendidos como ferramentas revolucionárias que podem ajudar os trabalhadores a se tornarem mais eficientes em seus empregos, talvez substituindo essas pessoas totalmente no futuro. No entanto, um novo estudo descobriu que o ChatGPT responde incorretamente a perguntas de programação 52% das vezes. A pesquisa da Universidade Purdue, apresentada recentemente na Conferência de Interação Humano-Computador no Havaí, analisou 517 perguntas de programação no Stack Overflow que foram então alimentadas no ChatGPT.
“Nosso estudo mostra que 52% das respostas do ChatGPT contêm informações incorretas e 77% são verbosas”, explica a nova pesquisa. “No entanto, os participantes do nosso estudo de usuários ainda preferiram as respostas do ChatGPT 35% do tempo devido à sua abrangência e estilo de linguagem bem articulado.”
De forma perturbadora, os programadores no estudo nem sempre perceberam os erros produzidos pelo chatbot de IA.
“No entanto, eles também ignoraram as informações errôneas nas respostas do ChatGPT 39% do tempo”, de acordo com o estudo. “Isso implica a necessidade de combater desinformações nas respostas do ChatGPT a perguntas de programação e aumentar a conscientização sobre os riscos associados às respostas aparentemente corretas.”
Obviamente, este é apenas um estudo, mas aponta para questões com as quais qualquer pessoa que tenha usado essas ferramentas pode se relacionar. Grandes empresas de tecnologia estão investindo bilhões de dólares em IA atualmente na tentativa de oferecer os chatbots mais confiáveis. Meta, Microsoft e Google estão todos em uma corrida para dominar um espaço emergente que tem o potencial de remodelar radicalmente nossa relação com a internet. Mas existem várias barreiras no caminho.
Um dos principais problemas é que a IA frequentemente é pouco confiável, especialmente se um usuário fizer uma pergunta verdadeiramente única. A nova Pesquisa do Google, alimentada por IA, está constantemente divulgando informações questionáveis que geralmente são retiradas de fontes pouco confiáveis. De fato, houve várias vezes nesta semana em que a Pesquisa do Google apresentou artigos satíricos do The Onion como informações confiáveis.
O Google se defende, insistindo que respostas erradas são anomalias. “Os exemplos que vimos são geralmente consultas muito incomuns e não representam a experiência da maioria das pessoas”, disse um porta-voz do Google ao Gizmodo por e-mail.
No entanto, essa defesa de que “consultas incomuns” resultam em respostas erradas é francamente risível. Os usuários só devem fazer as perguntas mais mundanas a esses chatbots? Como isso é aceitável, quando a promessa é que essas ferramentas devem ser revolucionárias?
A OpenAI não respondeu imediatamente a um pedido de comentário na sexta-feira sobre o novo estudo sobre as respostas do ChatGPT. O Gizmodo atualizará esta postagem se obtivermos uma resposta.
