Em 2010, dois famosos economistas, Carmen Reinhart e Kenneth Rogoff, lançaram um artigo confirmando o que muitos políticos fiscalmente conservadores suspeitavam há muito tempo: que o crescimento econômico de um país desaba se a dívida pública ultrapassar determinado percentual do PIB. O artigo foi muito bem recebido pelo futuro chanceler do Reino Unido, George Osborne, que o citou diversas vezes em um discurso que delineava o que se tornaria o manual político da era da austeridade: cortar serviços públicos para pagar a dívida nacional.
No entanto, havia um problema com o artigo de Reinhart e Rogoff. Eles inadvertidamente deixaram de incluir cinco países em sua análise: calculando os dados de apenas 15 países ao invés dos 20 que acreditavam ter selecionado em sua planilha. Quando alguns economistas menos conhecidos ajustaram esse erro, juntamente com algumas outras irregularidades, a parte mais chamativa dos resultados desapareceu. A relação entre dívida e PIB ainda estava presente, mas os efeitos de uma dívida alta eram mais sutis do que a drástica queda mencionada no discurso de Osborne.
Os cientistas, assim como o restante de nós, não estão imunes a erros. “Está claro que os erros estão por toda parte, e uma pequena porcentagem desses erros pode mudar as conclusões dos artigos”, diz Malte Elson, professor da Universidade de Berna, na Suíça, que estuda, entre outras coisas, métodos de pesquisa. O problema é que não há muitas pessoas procurando por esses erros. Os erros de Reinhart e Rogoff só foram descobertos em 2013 por um estudante de economia cujos professores pediram à turma para tentar replicar os resultados em artigos econômicos proeminentes.
Com seus colegas pesquisadores da meta-ciência, Ruben Arslan e Ian Hussey, Elson criou uma forma de encontrar erros em pesquisas científicas de maneira sistemática. O projeto – chamado ERROR – é modelado nos programas de recompensas por bugs da indústria de software, onde hackers são recompensados por encontrar erros no código. No projeto de Elson, os pesquisadores são remunerados para analisar artigos em busca de possíveis erros e recebem bônus por cada engano verificado.
A ideia surgiu de uma conversa entre Elson e Arslan, que incentiva os cientistas a encontrar erros em seu próprio trabalho oferecendo uma cerveja se identificarem um erro de digitação (limitado a três por artigo) e €400 ($430) por um erro que mude a principal conclusão do artigo. “Ambos estávamos cientes de artigos em nossas respectivas áreas que eram totalmente falhos devido a erros comprováveis, mas era extremamente difícil corrigir o registro”, diz Elson. Todos esses erros públicos poderiam representar um grande problema, Elson raciocinou. Se um pesquisador de doutorado dedicasse sua tese a um resultado que se mostrasse um erro, isso poderia representar dezenas de milhares de dólares desperdiçados.
A verificação de erros não é uma prática padrão na publicação de artigos científicos, diz Hussey, pesquisador de meta-ciência no laboratório de Elson em Berna. Quando um artigo é aceito por uma revista científica – como Nature ou Science – é enviado a alguns especialistas no campo que oferecem suas opiniões sobre se o artigo é de alta qualidade, logicamente consistente e faz uma contribuição valiosa para o campo. No entanto, esses revisores por pares geralmente não verificam erros e na maioria dos casos não têm acesso aos dados brutos ou código fonte necessários para descobrir os enganos.
