Chatbots de inteligência artificial como o ChatGPT da OpenAI estão sendo vendidos como ferramentas revolucionárias que podem ajudar os trabalhadores a se tornarem mais eficientes em seus empregos, talvez substituindo essas pessoas inteiramente no futuro. No entanto, um estudo surpreendente descobriu que o ChatGPT responde incorretamente a perguntas de programação de computadores 52% das vezes. A pesquisa da Universidade de Purdue, apresentada em uma conferência, analisou 517 perguntas de programação no Stack Overflow que foram alimentadas no ChatGPT. O estudo revelou que 52% das respostas do ChatGPT contêm informações incorretas e 77% são verbosas.
Programadores no estudo nem sempre perceberam os erros produzidos pelo chatbot de IA. Eles também ignoraram desinformações nas respostas do ChatGPT 39% das vezes. Isso sugere a necessidade de combater informações incorretas nas respostas do ChatGPT e conscientizar sobre os riscos associados a respostas aparentemente corretas.
Esta é apenas uma pesquisa que aponta problemas enfrentados por usuários dessas ferramentas. Grandes empresas de tecnologia estão investindo bilhões de dólares em IA para oferecer os chatbots mais confiáveis. No entanto, a confiabilidade da IA é frequentemente questionável, especialmente ao lidar com perguntas únicas. Google Search, por exemplo, às vezes fornece informações erradas de fontes não confiáveis.
A própria Google se defende insistindo que respostas erradas são anormalidades. No entanto, a ideia de que apenas perguntas comuns devem ser feitas aos chatbots é questionável, dada a promessa de que essas ferramentas devem ser revolucionárias. A OpenAI não respondeu imediatamente ao pedido de comentário sobre o novo estudo sobre as respostas do ChatGPT.
