Há incertezas se a Inteligência Artificial é tão inteligente quanto afirmam. Os chatbots, como o ChatGPT da OpenAI, estão se tornando cada vez mais populares entre programadores e estudantes. Porém, pesquisadores da Universidade de Purdue descobriram que 52% das respostas geradas pelo ChatGPT estão incorretas.
Esse alto percentual de erro é preocupante para um programa que precisa ser confiável. Muitos profissionais, estudantes e escritores utilizam o ChatGPT diariamente para obter suporte na programação de códigos.
Em um estudo apresentado na conferência Computer-Human Interaction, os pesquisadores analisaram mais de 517 perguntas relacionadas à programação de códigos publicadas no Stack Overflow, um fórum de perguntas e respostas para programadores. Ao submeter as perguntas ao ChatGPT, foi constatado que 52% das respostas estavam incorretas.
Apesar dos erros, os programadores humanos parecem preferir as respostas do ChatGPT. Uma análise linguística revelou que as respostas eram mais formais e analíticas, com menos sentimentos negativos. 35% dos programadores entrevistados afirmaram preferir o ChatGPT em vez de pedir ajuda humana e 39% não perceberam os erros gerados pela IA.
Os participantes destacaram que a linguagem educada, as respostas articuladas e o estilo de livro didático do ChatGPT foram fundamentais para tornar as respostas mais persuasivas, fazendo com que ignorassem algumas informações incorretas.
