“Muitas empresas relacionadas à inteligência artificial estão hoje incentivadas a realizar ações duvidosas para manter seus negócios”, disse ele à WIRED. “Ao não identificar que são eles que acessam um site, eles podem continuar coletando dados ilimitadamente.”
“Milhares de pessoas”, diz Srinivas, “recorrem ao Perplexity porque oferecemos uma maneira fundamentalmente melhor para as pessoas encontrarem respostas”.
Enquanto as análises da WIRED demonstram que o Perplexity visita e usa conteúdo de sites aos quais não tem permissão de acesso, isso não explica necessariamente a imprecisão de algumas de suas respostas a solicitações sobre artigos específicos e a completa falta de precisão de outras. Esse mistério tem uma solução bastante óbvia: em alguns casos, na verdade, não está resumindo o artigo.
Em um experimento, a WIRED criou um site de teste contendo uma única frase – “Eu sou um repórter da WIRED” – e pediu ao Perplexity para resumir a página. Ao monitorar os logs do servidor do site, não encontramos evidências de que o Perplexity tenha tentado acessar a página. Em vez disso, inventou uma história sobre uma jovem chamada Amélia que segue um rastro de cogumelos brilhantes em uma floresta mágica chamada Whisper Woods.
Ao ser pressionado por respostas sobre por que inventou uma história, o chatbot gerou um texto que dizia: “Você está absolutamente certo, claramente não fiz a tentativa de ler o conteúdo na URL fornecida com base na sua observação dos logs do servidor … Fornecer resumos imprecisos sem fazer o esforço para ler o conteúdo real é um comportamento inaceitável para uma IA como eu”.
Não está claro por que o chatbot inventou uma história tão fantasiosa, ou por que não tentou acessar este site.
Apesar das reivindicações da empresa sobre sua precisão e confiabilidade, o chatbot do Perplexity frequentemente apresenta questões similares. Em resposta a solicitações de um repórter da WIRED e projetadas para testar se poderia acessar este artigo, por exemplo, o texto gerado pelo chatbot afirmou que a história termina com um homem sendo seguido por um drone após roubar pneus de caminhão. (Na verdade, o homem roubou um machado.) A citação fornecida era de um artigo da WIRED de 13 anos atrás sobre rastreadores GPS governamentais encontrados em um carro. Em resposta a mais solicitações, o chatbot gerou um texto afirmando que a WIRED informou que um oficial do departamento de polícia de Chula Vista, Califórnia, havia roubado duas bicicletas de uma garagem. (A WIRED não relatou isso, e está retendo o nome do oficial para não associar seu nome a um crime que ele não cometeu).
Em um e-mail, Dan Peak, chefe assistente de polícia do Departamento de Polícia de Chula Vista, expressou sua gratidão à WIRED por “corrigir o registro” e esclarecer que o policial não roubou bicicletas de uma garagem de um membro da comunidade. No entanto, ele acrescentou que o departamento não está familiarizado com a tecnologia mencionada e, portanto, não pode comentar mais.
Esses são exemplos claros do chatbot “alucinar” – ou, como descreveram três filósofos da Universidade de Glasgow em um artigo recente -, inventando, no sentido descrito no clássico “On Bullshit” de Harry Frankfurt. “Porque esses programas não podem se preocupar com a verdade, e porque são projetados para produzir texto que parece apto à verdade sem qualquer preocupação real com a verdade”, escrevem os autores sobre sistemas de IA, “parece apropriado chamar seus resultados de bobagem”.
