Review of: "The Consequences of Peer Review Bias for Academic Careers and the Progress of Science"

Motivation

• Known: 동료 심사 과정에서 지위와 명성에 기반한 편견이 존재하며, 이는 학술 출판에 영향을 미친다는 것이 알려져 있다.
• Gap: 기존 시뮬레이션 모델이 결과가 예측 가능할 정도로 단순하며, 패러다임 중심의 편견과 다양한 형태의 지위 편견(명성, 대학 위신, 지역 편향, 최근의 중국 편향 등)의 상호작용을 충분히 반영하지 못하고 있다.
• Why: 동료 심사 편견은 학술 진전을 저해하고 연구 재현성 위기에 기여하므로, 이를 정확히 이해하고 모델링하는 것이 과학 시스템 개선에 필수적이다.
• Approach: 시뮬레이션 모델을 통해 동료 심사 편견의 영향을 분석하되, 모델의 복잡성을 증가시키고 다양한 편견 요인과 패러다임 기반 편향을 포함하도록 강화하는 방식이다.

Achievement

• 중요한 주제 다루기: 동료 심사 편견이 학술 시스템에 미치는 영향을 체계적으로 다루고 있다.
• 논문의 품질: 전반적으로 잘 작성되고 신중하게 검토되어 출판과 읽을 가치가 있다.
• 다층적 편견 분석: 지위 편견의 여러 형태(명성, 대학 위신, US/영어 편향, 중국 편향 등)를 언급하고 있다.
• 심리학적 메커니즘 언급: 진화심리학적 관점에서 패러다임 중심 편견과 집단 정체성 방어 메커니즘의 역할을 인식하고 있다.

How

• 시뮬레이션 모델을 통해 동료 심사 편견의 영향을 정량화
• fame", "prestige", 지역적 가중치, 최근의 중국 편향 등 다양한 지위 편견 형태 분류
• 패러다임 기반 편견 메커니즘이 지위 기반 편견과 동등하거나 더 클 수 있음을 주장
• 학술 저널과 편집진의 선택이 선호하는 이론적 프레임워크를 반영하는 피드백 루프 분석
• 진화심리학적 관점에서 집단 정체성, 개인 정체성, 소속감, 상대적 지위 등 다양한 동기 체계 검토

Originality

• 동료 심사 편견의 다양한 형태를 체계적으로 분류하고 시뮬레이션 모델로 분석하는 접근
• 패러다임 중심 편견을 지위 편견과 동등하거나 더 중요한 요소로 강조
• 심리학의 재현 위기를 동료 심사 편견의 결과로 설명하는 관점
• 진화심리학적 메커니즘(다중 동기 체계)을 통해 최적화된 이익 추구 모델의 한계를 비판

Limitation & Further Study

• 모델의 과도한 단순성: 시뮬레이션 모델이 변수 수정에 따라 결과가 예측 가능할 정도로 단순하여 결론의 강도가 약화된다.
• 다양한 편견 요인의 상호작용 부족: "status" 편견의 여러 형태(명성, 위신, 지역 편향, 중국 편향)의 잠재적 상호작용을 충분히 명확히 하지 못한다.
• 패러다임 편견의 수학화 필요: 패러다임 기반 편견을 모델에 포함시키는 수학적 방법론이 명확하지 않다.
• 심리적 메커니즘의 과도한 단순화: "최적화된 자기이익"이라는 표현이 진화심리학적 다중 동기 체계(새로움 추구, 집단 정체성, 개인 정체성 등)를 제대로 반영하지 못한다.
• 후속연구: 모델의 복잡성을 증가시켜 다른 기여 요인들을 통제하거나 정확히 반영하고, 패러다임 편견을 안전하게 포함시키며, 재현성 위기와의 연관성을 더 자세히 논의하는 것이 필요하다.

Evaluation

총평: 동료 심사 편견 문제를 중요하게 다루고 전반적으로 잘 작성된 논문이나, 시뮬레이션 모델의 복잡성 부족과 패러다임 기반 편견, 진화심리학적 메커니즘의 더 정교한 반영이 필요하다. 작은 수정을 통해 논의를 확대하면 보다 강력한 결론 지지가 가능할 것으로 판단된다.