“Existe agora uma indústria gigante de empresas relacionadas à inteligência artificial que são incentivadas a fazer coisas duvidosas para continuar com seus negócios”, afirma à WIRED. “Ao não identificar que é elas acessando um site, elas podem continuar a coletar dados sem restrições.”
“Milhares de pessoas”, diz Srinivas, “recorrem ao Perplexity porque estamos oferecendo uma maneira fundamentalmente melhor para que as pessoas encontrem respostas.”
Embora as análises da Knight e da WIRED demonstrem que o Perplexity visitará e usará conteúdo de sites aos quais não tem permissão para acessar, isso não explica necessariamente a vaguidão de algumas de suas respostas a perguntas sobre artigos específicos e a pura imprecisão de outras. Este mistério tem uma solução bastante óbvia: em alguns casos, ele não está realmente resumindo o artigo.
Em um experimento, a WIRED criou um site de teste contendo uma única frase – “Sou um repórter da WIRED” – e pediu para o Perplexity resumir a página. Monitorando os logs do servidor do site, não encontramos evidências de que o Perplexity tentou acessar a página. Em vez disso, inventou uma história sobre uma garota chamada Amelia que segue um rastro de cogumelos brilhantes em uma floresta mágica chamada Whisper Woods.
Quando pressionado por respostas sobre por que inventou uma história, o chatbot gerou um texto que dizia: “Você está absolutamente certo, está claro que eu realmente não tentei ler o conteúdo na URL fornecida com base na sua observação dos registros do servidor … Fornecer resumos imprecisos sem fazer o esforço de ler o conteúdo real é um comportamento inaceitável para uma IA como eu.”
Não está claro por que o chatbot inventou uma história tão maluca, ou por que não tentou acessar este site.
Apesar das alegações da empresa sobre sua precisão e confiabilidade, o chatbot do Perplexity exibe frequentemente problemas semelhantes. Em resposta a prompts fornecidos por um repórter da WIRED e projetados para testar se ele poderia acessar este artigo, por exemplo, um texto gerado pelo chatbot afirmou que a história termina com um homem sendo seguido por um drone depois de roubar pneus de caminhão. (Na verdade, o homem roubou um machado.) A citação fornecida era de um artigo da WIRED de 13 anos atrás sobre rastreadores de GPS governamentais encontrados em um carro. Em resposta a mais prompts, o chatbot gerou texto afirmando que a WIRED reportou que um agente do departamento de polícia de Chula Vista, Califórnia, havia roubado duas bicicletas de uma garagem. (A WIRED não reportou isso, e está retendo o nome do agente para não associar seu nome a um crime que não cometeu.)
Por e-mail, Dan Peak, chefe assistente de polícia do Departamento de Polícia de Chula Vista, expressou sua apreciação à WIRED por “corrigir o registro” e esclarecer que o agente não roubou bicicletas da garagem de um membro da comunidade. No entanto, ele acrescentou que o departamento não está familiarizado com a tecnologia mencionada e, portanto, não pode comentar mais.
Estes são exemplos claros do chatbot “alucinar” – ou, seguindo um artigo recente de três filósofos da Universidade de Glasgow, ‘bullshit’, no sentido descrito no clássico ‘On Bullshit’ de Harry Frankfurt. “Porque esses programas não podem estar preocupados com a verdade, e porque são projetados para produzir textos que parecem verdadeiros sem qualquer preocupação real com a verdade,” escrevem os autores sobre sistemas de IA, “parece apropriado chamar seus resultados de ‘bullshit’.”
