Насколько социальные науки реально научны?

По данным Science.org, результаты примерно половины научных работ в области социальных наук невозможно подтвердить при независимых проверках. Масштабный проект SCORE (Systematizing Confidence in Open Research and Evidence) проанализировал более 100 статей, опубликованных до 2018 года в ведущих журналах по бизнесу, экономике, образованию, политологии, психологии и социологии. Уровень успешной независимой репликации составил всего 49%. Результаты проекта SCORE, опубликованные в журнале Nature, показали, что только 49% из 164 оцененных статей были успешно воспроизведены.

Согласно данным Каролинского института, в проекте SCORE приняли участие 865 исследователей, которые проанализировали почти 3 900 научных статей, опубликованных между 2009 и 2018 годами. Работы оценивались по трем параметрам: реплицируемость, воспроизводимость и надежность. Исследование считается реплицируемым, если анализ новых профильных данных дает аналогичный результат. Воспроизводимость означает, что другие ученые получают тот же итог, используя оригинальные данные и методы авторов. Надежность подтверждается, если к оригинальным данным применяется другой аналитический метод, но ответ остается неизменным.

Показатель точной воспроизводимости составил 54%. Что касается надежности, то при независимом анализе каждой из отобранных работ как минимум пятью специалистами, лишь в 34% случаев все эксперты пришли к полному согласию о корректности первоначальных выводов.

Команда проекта надеялась выявить четкие маркеры, по которым можно было бы заранее судить о достоверности статьи. Как пишет Science.org, эти попытки не увенчались существенным успехом: надежного универсального индикатора не найдено. Даже алгоритмы искусственного интеллекта не смогли с высокой точностью предсказать, какие из исследований успешно пройдут повторную проверку.

Единственным фактором, который показал сильную корреляцию с успешной воспроизводимостью, оказалась доступность данных. Статьи, авторы которых предоставили открытый доступ к своим исходным данным и программному коду (таких в выборке оказалась лишь треть), демонстрировали гораздо более высокий процент подтверждения результатов.

Руководство проекта SCORE подчеркивает, что единичная неудача при воспроизведении исследования не свидетельствует о мошенничестве или профессиональной халатности. Причины таких сбоев сложны, и неподтвержденный результат следует рассматривать как новые данные, требующие дополнительного изучения.

Тем не менее, независимые эксперты сходятся в одном: научному сообществу требуются системные реформы. Для повышения уровня доверия к науке необходимо менять культуру проведения исследований и систему грантового финансирования, смещая фокус оценки с количества публикуемых статей на их методологическую строгость и прозрачность.