Quão científicas são as ciências sociais?

De acordo com o Science.org, os resultados de cerca de metade dos trabalhos científicos na área de ciências sociais não conseguem ser confirmados em verificações independentes. O amplo projeto SCORE (Systematizing Confidence in Open Research and Evidence) analisou mais de 100 artigos publicados até 2018 em importantes revistas de negócios, economia, educação, ciência política, psicologia e sociologia. A taxa de replicação independente bem-sucedida foi de apenas 49%. Os resultados do projeto SCORE, publicados na revista Nature, mostraram que apenas 49% dos 164 artigos avaliados puderam ser reproduzidos com sucesso.

Segundo dados do Instituto Karolinska, 865 pesquisadores participaram do projeto SCORE e analisaram quase 3.900 artigos científicos publicados entre 2009 e 2018. Os trabalhos foram avaliados com base em três critérios: replicabilidade, reprodutibilidade e robustez. Um estudo é considerado replicável quando a análise de novos dados do mesmo campo produz um resultado semelhante. Reprodutibilidade significa que outros cientistas obtêm o mesmo desfecho ao usar os dados originais e os métodos dos autores. A robustez é confirmada quando um método analítico diferente é aplicado aos dados originais, mas a resposta permanece inalterada.

O índice de reprodução exata foi de 54%. No que diz respeito à robustez, na análise independente de cada trabalho selecionado por pelo menos cinco especialistas, em apenas 34% dos casos todos os avaliadores chegaram a um consenso total sobre a correção das conclusões iniciais.

A equipe do projeto esperava identificar marcadores claros que permitissem avaliar antecipadamente a confiabilidade de um artigo. Como relata o Science.org, essas tentativas não tiveram sucesso significativo: não foi encontrado nenhum indicador universal realmente confiável. Nem mesmo algoritmos de inteligência artificial conseguiram prever com alta precisão quais estudos passariam novamente pela verificação.

O único fator que apresentou forte correlação com o sucesso na reprodutibilidade foi a disponibilidade dos dados. Os artigos cujos autores disponibilizaram abertamente os dados originais e o código de programação (e esses eram apenas um terço da amostra) apresentaram uma taxa muito maior de confirmação dos resultados.

A coordenação do projeto SCORE ressalta que uma única falha na reprodução de um estudo não indica fraude nem negligência profissional. As razões para esses resultados podem ser complexas, e um achado não confirmado deve ser encarado como um novo dado que exige investigação adicional.

Mesmo assim, especialistas independentes concordam em um ponto: a comunidade científica precisa de reformas sistêmicas. Para aumentar a confiança na ciência, é necessário mudar a cultura de pesquisa e o sistema de financiamento por bolsas, deslocando o foco da avaliação do número de artigos publicados para a rigorosidade metodológica e a transparência.