Я вот раньше не знал как в исследованиях понимается и показывается есть ли на самом деле какой-то эффект от воздействия/лекарств или нет.
Оказывается есть такое понятие как “статистическая значимость”. Когда сравнивают 2 группы людей: 1 — на которых воздействие не оказывается, 2 — на которых оказывается. И если получается так, что разница между средними значениями некоторого исследуемого показателя в этих группах “достаточно велика”, что значит, что такая разница с оч маленькой вероятностью могла быть получена в результате просто случайности при предположении, что исследуемого эффекта на самом деле нет. По-научному такая вероятность называется p-value. И вот для того чтобы принять решение является ли разница/эффект “статистически значимым” или нет был выбран (достаточно произвольно) порог p-value < 0.05, который стал повсеместно использоваться. Ну почему бы и нет.
Но с таким подходом есть некоторые проблемы/нюансы:
- Порог 5% означает, что в принципе такая разница между группами на самом деле с вероятностью 5% могла быть получена чисто случайно. Т.е. гарантии ни какой нет. Много это или мало? Ну лучше конечно чтобы была вероятность поменьше, а соотв-но разница побольше. В любом случае, надо понимать, что среди “статистически значимых” результатов будет некоторая доля ложно-положительных результатов, когда воздействие/лекарство на самом деле не оказывает никакого влияния, а такая разница была получена из-за влияния других случайных факторов (хоть вероятность была низкая).
- Гораздо большая проблема в том, что ученые могут очень сильно влиять на этот p-value тем как проводят свои исследования, как делят на группы, какие параметры исследуют, сколько данных собирают, и теоретически могут добиться любого нужного значения p-value. Это называется p-hacking. Как правило для публикации выбираются только успешные результаты, а сколько при этом было попыток/гипотез, которые ни к чему не привели, умалчивается. Это не всегда прям умышленное и осознанное действие, но может косвенно вытекать из того, что ученые в принципе всегда нацелены получить какой-то результат, найти какой то эффект, чтобы поведать об этом миру и опубликоваться в журналах. Ведь если вы проведете исследование и получите отрицательные результаты — это особо никому не интересно (publication bias) и вы просто потратите время и деньги впустую. А ученые тоже люди и хотят что-то кушать.
Не то чтобы я лично читал много работ, но пишут, что больше всего такие проблемы с этим возникают в психологии, биологии, медицине. Где-то была цифра, что только треть работ по психологии могут быть воспроизведены. И чем более динамично развивающаяся область науки — тем там может быть больше ложно-позитивных “открытий” потому что все спешат быть первыми и достоверность результатов отходит на второй план.
А еще узнал про феномен Протея — это когда, сначала одни ученые опубликовали какое-то свое сенсационное исследование, после чего другие ученые уже могут попасть в какой-нибудь журнал с громким опровержением этой работы, хотя изначально, конечно это никому интересно не было бы, если бы не было предыдущей работы. Такая вот конкуренция получается. В результате чего может и будет рождаться истина, а мы не повязнем в хаосе ложных открытий.
Источники:
- False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant
- Why Most Published Research Findings Are False
- Большинство научных публикаций — ложь