Os chatbots de inteligência artificial, como o ChatGPT da OpenAI, estão sendo vendidos como ferramentas revolucionárias que podem ajudar os trabalhadores a se tornarem mais eficientes em seus empregos, talvez substituindo essas pessoas completamente no futuro. No entanto, um novo estudo descobriu que o ChatGPT responde incorretamente a perguntas de programação de computadores 52% das vezes.
A pesquisa da Universidade de Purdue, apresentada em uma conferência de Interatividade Humano-Computador no Havaí, examinou 517 perguntas de programação no Stack Overflow que foram alimentadas no ChatGPT. O estudo revelou que 52% das respostas do ChatGPT continham informações incorretas e 77% eram verbosas. Apesar disso, os participantes do estudo ainda preferiam as respostas do ChatGPT 35% do tempo devido à sua abrangência e estilo de linguagem bem articulado.
Alarmantemente, os programadores no estudo nem sempre percebiam os erros produzidos pelo chatbot de IA. Eles também ignoravam a desinformação nas respostas do ChatGPT 39% do tempo. Isso ressalta a necessidade de combater a desinformação nas respostas do ChatGPT e conscientizar sobre os riscos associados às respostas aparentemente corretas.
É importante ressaltar que a inteligência artificial frequentemente é pouco confiável, especialmente se um determinado usuário fizer uma pergunta verdadeiramente única. Grandes empresas de tecnologia estão investindo bilhões de dólares em IA atualmente para oferecer os chatbots mais confiáveis. No entanto, existem vários obstáculos a serem superados.
Um dos principais problemas é que a IA frequentemente é pouco confiável, especialmente se um usuário fizer uma pergunta verdadeiramente única. O Search do Google, por exemplo, frequentemente fornece informações imprecisas oriundas de fontes não confiáveis. Google se defende insistindo que respostas erradas são anomalias.
É importante ressaltar que usuários não devem fazer perguntas comuns aos chatbots, mas sim questões únicas. Estes recursos tecnológicos deveriam ser revolucionários.
A OpenAI ainda não respondeu imediatamente a um pedido de comentário sobre o novo estudo sobre as respostas do ChatGPT. Este post será atualizado caso haja resposta.
