대부분의 논문들을 신뢰할 수 없는 이유 (스텐포드 교수의 주장)

2005년 스텐포드 교수인 John loannidis 는 PLOS Medicine 저널에 아래와 같은 제목의 논문을 발표합니다. 

Why Most Published Research Findings Are False (왜 게제된 연구의 발견들이 대부분 거짓인가)

굉장히 자극적인 제목입니다. 그의 주장은 상당수의 논문들이 '재현 불가능한' 결과를 담고 있다는 것입니다. 재현 불가능하다는 것을 다른 말로 하면 '우연히 발생한 특정 사건'을 포착하였다는 것입니다. 이해를 돕기 위해 극단적인 예를 들어봅시다. 어떤 약의 효능을 입증하기 위해 비교군고 대조군 50명씩, 10000쌍에서 임상시험을 하고 이 중 우연히 약의 효과(유의차)가 발생한 사례를 논문에 게재하는 것입니다. 당연히 10000번 실험하면 우연히 차이가 발생할 수 있을겁니다. 

실제 연구에서 '가설검정'이라는 것을 사용하는데 가설검정의 오류는 5%입니다. 20번에 1번은 결과가 우연히 발생할 수 있다는 것입니다. 

 

연구를 해본분들은 아시겠지만 유의차가 발생해야 논문이 됩니다. 따라서 연구자들은 유의차가 발생하기를 간절히 염원하고 있습니다. 또 유의차가 발생하지 않았을 때, 연구설계를 다시 하고 실험을 다시 할 수 있는 시간과 돈의 여력도 당연히 없습니다. 누군가에게는 졸업이, 누군가에게는 실적이 달려있기 때문에 우연히 발생한 하나의 사례라도 잡고 싶은 상황일 겁니다. 가설검정 자체가 이미 오류를 내포하고 있는데다가, 연구자들은 중립적인 입장을 취할 수 없는 상황까지 더해지기 때문에... 

아무튼 존(John)의 논문은 상당한 파장을 불러일으켰고, 메타과학(연구의 쓰레기를 줄이기 위한 연구)의 출발점으로 평가받습니다. 

위키피디아에도 정리되어 있으니 아래 링크를 참고해주세요. 

 

https://en.wikipedia.org/wiki/Why_Most_Published_Research_Findings_Are_False

Why Most Published Research Findings Are False - Wikipedia