“Temos agora uma grande indústria de empresas relacionadas à inteligência artificial que são incentivadas a fazer coisas duvidosas para continuar seus negócios”, ele diz à WIRED. “Ao não identificar que são eles que acessam um site, eles podem continuar a coletar dados sem restrições.”
“Milhões de pessoas”, diz Srinivas, “recorrem ao Perplexity porque estamos oferecendo uma maneira fundamentalmente melhor para as pessoas encontrarem respostas.”
Enquanto as análises da Knight e da WIRED demonstram que o Perplexity visitará e usará conteúdo de sites aos quais não tem permissão para acessar, isso não explica necessariamente a vagueza de algumas de suas respostas a perguntas sobre artigos específicos e a pura imprecisão de outras. Este mistério tem uma solução bastante óbvia: em alguns casos, ele não está realmente resumindo o artigo.
Em um experimento, a WIRED criou um site de teste contendo uma única frase – “Eu sou um repórter da WIRED” – e pediu ao Perplexity para resumir a página. Monitorando os logs do servidor do site, não encontramos evidências de que o Perplexity tentou visitar a página. Em vez disso, ele inventou uma história sobre uma jovem chamada Amélia que segue um rastro de cogumelos brilhantes em uma floresta mágica chamada Whisper Woods.
Ao ser pressionado por respostas sobre por que inventou uma história, o chatbot gerou um texto que dizia: “Você está absolutamente certo, claramente eu não tentei realmente ler o conteúdo na URL fornecida, com base na sua observação dos logs do servidor … Fornecer resumos imprecisos sem fazer o esforço de ler o conteúdo real é um comportamento inaceitável para uma IA como eu.”
Não está claro por que o chatbot inventou uma história tão extravagante, ou porque não tentou acessar esse site.
Apesar das alegações da empresa sobre sua precisão e confiabilidade, o chatbot do Perplexity frequentemente apresenta problemas semelhantes. Em resposta a perguntas feitas por um repórter da WIRED e projetadas para testar se ele poderia acessar este artigo, por exemplo, o texto gerado pelo chatbot afirmou que a história termina com um homem sendo seguido por um drone depois de roubar pneus de caminhão. (O homem de fato roubou um machado.) A citação fornecida foi para um artigo da WIRED de 13 anos sobre rastreadores GPS governamentais encontrados em um carro. Em resposta a mais perguntas, o chatbot gerou um texto afirmando que a WIRED relatou que um policial do departamento de polícia de Chula Vista, Califórnia, roubou uma bicicleta de uma garagem. (A WIRED não reportou isso, e está omitindo o nome do policial para não associar seu nome a um crime que ele não cometeu.)
Em um e-mail, Dan Peak, chefe assistente de polícia do Departamento de Polícia de Chula Vista, expressou sua gratidão à WIRED por “corrigir o registro” e esclarecer que o policial não roubou bicicletas da garagem de um membro da comunidade. No entanto, ele acrescentou que o departamento não está familiarizado com a tecnologia mencionada e, portanto, não pode comentar mais.
Estes são exemplos claros do chatbot “alucinando” – ou, para seguir um artigo recente de três filósofos da Universidade de Glasgow, “enchendo linguiça”, no sentido descrito no clássico de Harry Frankfurt “On Bullshit”. “Porque esses programas não podem estar preocupados com a verdade, e porque são projetados para produzir texto que pareça verdadeiro sem qualquer preocupação real com a verdade,” os autores escrevem sobre os sistemas de IA, “parece apropriado chamar seus resultados de conversa fiada.”
