When reviewers lock horn: Finding disagreement in scientific peer reviews

์ €์ž: Sandeep Kumar, Tirthankar Ghosal, Asif Ekbal | ๋‚ ์งœ: 2023 | DOI: N/A 📄 PDF


Essence

Figure 1

Figure 1: ๋ฆฌ๋ทฐ์–ด ๊ฐ„ ๋ชจ์ˆœ์˜ ์˜ˆ์‹œ - Reviewer 1์€ ์ฆ๊ฑฐ๊ฐ€ ๊ฐ•ํ•˜๊ณ  ์ถฉ๋ถ„ํ•˜๋‹ค๊ณ  ํ‰๊ฐ€ํ•˜์ง€๋งŒ, Reviewer 2๋Š” ๊ทธ ์ฆ๊ฑฐ์— ํšŒ์˜์ 

๋ณธ ๋…ผ๋ฌธ์€ ๊ณผํ•™ ๋…ผ๋ฌธ์˜ ํ”ผ์–ด ๋ฆฌ๋ทฐ ๊ณผ์ •์—์„œ ๋ฆฌ๋ทฐ์–ด ๊ฐ„์˜ ๋ชจ์ˆœ(disagreement)์„ ์ž๋™์œผ๋กœ ํƒ์ง€ํ•˜๋Š” ์ƒˆ๋กœ์šด ๊ณผ์ œ๋ฅผ ์ œ์‹œํ•˜๊ณ , ์ด๋ฅผ ์œ„ํ•œ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹ ContraSciView์™€ ๊ธฐ์ค€ ๋ชจ๋ธ์„ ์ œ์•ˆํ•œ๋‹ค.

Motivation

Achievement

Figure 2

Figure 2: ์ธก๋ฉด๋ณ„ ๋ชจ์ˆœ ์ฃผ์„ ํ†ต๊ณ„ - Clarity ์ธก๋ฉด์—์„œ ๊ฐ€์žฅ ๋งŽ์€ ๋ชจ์ˆœ ๋ฐœ์ƒ

  1. ์ฒซ ๋ฒˆ์งธ ์ž๋™ํ™” ์ž‘์—… ์ˆ˜ํ–‰: ํ”ผ์–ด ๋ฆฌ๋ทฐ ๋ชจ์ˆœ ํƒ์ง€๋ฅผ ์ฒ˜์Œ์œผ๋กœ ์ •ํ˜•ํ™”ํ•˜๊ณ  ์ž๋™ ํƒ์ง€ ์‹œ์Šคํ…œ ๊ฐœ๋ฐœ. ์ด๋Š” ํ•™์ˆ  ์ถœํŒ ๋ถ„์•ผ์˜ AI ์ ์šฉ ๋ฒ”์œ„๋ฅผ ํ™•์žฅํ•จ.
  2. ๊ณ ํ’ˆ์งˆ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•: 8.5k ๋…ผ๋ฌธ, 25.8k ๋ฆฌ๋ทฐ, 28.5k ๋ฆฌ๋ทฐ ์Œ์œผ๋กœ ๊ตฌ์„ฑ๋œ ContraSciView ๋ฐ์ด์…‹ ๊ณต๊ฐœ. 4๋…„ ์ด์ƒ ์—ฐ๊ตฌ ๊ฒฝํ—˜์„ ๊ฐ€์ง„ ๋ฐ•์‚ฌ๊ณผ์ • ํ•™์ƒ 6๋ช…๊ณผ 10๋…„ ์ด์ƒ ๊ฒฝํ—˜์˜ ์ „๋ฌธ๊ฐ€ 2๋ช…์ด ์ฃผ์„ ์ž‘์„ฑ(Cohen's kappa = 0.62, substantial agreement).
  3. ๋ฆฌ๋ทฐ์–ด ๊ฐ„ ๋ถˆ์ผ์น˜ ํŒจํ„ด ๋ถ„์„: Clarity ์ธก๋ฉด์—์„œ ๊ฐ€์žฅ ๋งŽ์€ ๋ชจ์ˆœ(์ „๋ฌธ์„ฑ, ๋„๋ฉ”์ธ ์ง€์‹, ์–ธ์–ด ๋Šฅ๋ ฅ ์ฐจ์ด ๋“ฑ), Replicability์™€ Meaningful Comparison์—์„œ๋Š” ์ ์€ ๋ชจ์ˆœ ๋ฐœ๊ฒฌ.

How

Figure 3

Figure 3: ์ œ์•ˆ๋œ ๊ธฐ์ค€ ๋ชจ๋ธ์˜ ํ๋ฆ„๋„ - SDAP(Sentiment Disparity Aspect Pair) ์ถ”์ถœ ํ›„ ๋ชจ์ˆœ ์—ฌ๋ถ€ ํŒ์ •

๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ• ๋ฐฉ๋ฒ•

์ฃผ์„ ํ”„๋กœ์„ธ์Šค

๊ธฐ์ค€ ๋ชจ๋ธ ๊ตฌ์กฐ

Originality

Limitation & Further Study

Evaluation

์ดํ‰: ํ”ผ์–ด ๋ฆฌ๋ทฐ ํ”„๋กœ์„ธ์Šค์—์„œ ๋ฆฌ๋ทฐ์–ด ๊ฐ„ ๋ชจ์ˆœ์„ ์ž๋™์œผ๋กœ ํƒ์ง€ํ•˜๋Š” ์ƒˆ๋กœ์šด ๊ณผ์ œ๋ฅผ ๊ฐœ์ฒ™ํ•œ ์˜์˜ ์žˆ๋Š” ์—ฐ๊ตฌ๋กœ, ์ •๊ตํ•˜๊ฒŒ ๊ตฌ์ถ•๋œ ๊ณ ํ’ˆ์งˆ ๋ฐ์ดํ„ฐ์…‹๊ณผ ํ˜„์‹ค์  ์ ์šฉ ๊ฐ€์น˜๊ฐ€ ๊ฐ•์ ์ด๋‹ค. ๋‹ค๋งŒ ๊ธฐ์ค€ ๋ชจ๋ธ์˜ ๊ธฐ์ˆ ์  ํ˜์‹ ์ด ์ œํ•œ์ ์ด๊ณ , ํ‰๊ฐ€ ๋ถ„์„์˜ ๊นŠ์ด๋ฅผ ๋†’์ธ๋‹ค๋ฉด ํ•™์ˆ  ์ถœํŒ ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ํฐ ๊ด€์‹ฌ์„ ๋ฐ›์„ ์ˆ˜ ์žˆ์„ ๊ฒƒ์œผ๋กœ ํŒ๋‹จ๋œ๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
883 ๋…ผ๋ฌธ์€ ๋ฆฌ๋ทฐ์–ด ๊ฐ„์˜ ์˜๊ฒฌ ์ถฉ๋Œ์„ ์‹๋ณ„ํ•˜๋Š” ํŠนํ™”๋œ ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์‹œํ•˜๋ฏ€๋กœ, 778์˜ ๋ฉ”ํƒ€๋ฆฌ๋ทฐ ๋ฐ์ดํ„ฐ์…‹ ์„ค๊ณ„ ์‹œ ์ฐธ๊ณ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
ReviewEval ๋…ผ๋ฌธ์€ AI ๊ธฐ๋ฐ˜ ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ ์ƒ์„ฑ ๋ฐ ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์‹œํ•ด ContraSciView ๋ฐ์ดํ„ฐ์…‹ ๋ฐ peer review ๋ชจ์ˆœ ํƒ์ง€์˜ ํ‰๊ฐ€ ์ง€์นจ์œผ๋กœ ์ฝ์„ ์ˆ˜ ์žˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
070๋ฒˆ ๋…ผ๋ฌธ์€ LLM์„ ํ™œ์šฉํ•œ ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ํ”ผ์–ด๋ฆฌ๋ทฐ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ์‹œ๋„ํ•˜์—ฌ, 883๋ฒˆ ๋ฆฌ๋ทฐ์–ด ๊ฐ„ ๋ชจ์ˆœ ํƒ์ง€ ์—ฐ๊ตฌ์™€ ๋Œ€์กฐ์  ์ ‘๊ทผ์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
When reviewers lock horn ๋…ผ๋ฌธ์€ ๋ฆฌ๋ทฐ ์˜๊ฒฌ ๊ฐ„ ๋ถˆ์ผ์น˜ ๊ฒ€์ถœ์ด๋ผ๋Š” ๋˜๋‹ค๋ฅธ ์ž๋™ํ™” ํ”ผ์–ด๋ฆฌ๋ทฐ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃจ์–ด, 609์˜ ๋…ผ์ฆ ๊ตฌ์กฐํ™” ์ ‘๊ทผ๊ณผ ๋น„๊ต๊ฐ€ ์œ ์ตํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
When reviewers lock horn ๋…ผ๋ฌธ์€ ๋ฆฌ๋ทฐ์–ด ๊ฐ„ ์˜๊ฒฌ ๋ถˆ์ผ์น˜ ํƒ์ง€๋ฅผ ์ค‘์ ์ ์œผ๋กœ ๋‹ค๋ฃจ์–ด, CAF์˜ ์ธ์ง€์  ํ•ฉ์˜ ๊ณผ์ •๊ณผ ๋น„๊ต์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
Peerarg(609)๋Š” ๋…ผ์ฆ์  ํ”ผ๋“œ๋ฐฑ ์ƒ์„ฑ์ด ๊ฐ€๋Šฅํ•œ LLM ๊ธฐ๋ฐ˜ ๋ฆฌ๋ทฐ ์‹œ์Šคํ…œ์„ ์ œ์•ˆํ•˜์—ฌ, ๋ฆฌ๋ทฐ์–ด ๋ชจ์ˆœ ์ž๋™ ํƒ์ง€์™€์˜ ์—ฐ๊ณ„๊ฐ€ ๊ธฐ๋Œ€๋ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
385์˜ ์˜์—ญ์˜์žฅ ์ง€์› ๋ชฉ์ ๊ณผ ๊ณตํ†ต์ /์ฐจ๋ณ„์  ์ถ”์ถœ์€ 883์—์„œ ๋…ผ์˜ํ•˜๋Š” ๋ฆฌ๋ทฐ์–ด ๊ฐ„ ์˜๊ฒฌ ๋ถˆ์ผ์น˜ ํƒ์ƒ‰ ๋ฐ ๋ถ„์„ ์—ฐ๊ตฌ๋กœ ํ™•์žฅ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๋ฆฌ๋ทฐ์–ด ๊ฐ„ ์˜๊ฒฌ ๋ถˆ์ผ์น˜ ํƒ์ง€ ๊ธฐ์ˆ  ์—ฐ๊ตฌ๋กœ, LLM ๊ธฐ๋ฐ˜ ์ฃผ์„ ์ƒ์„ฑ ๋ฐ ์ธ๊ฐ„ ํ˜‘์—…์˜ ๋ณด์™„ ์ˆ˜๋‹จ์— ์‘์šฉ ๊ฐ€๋Šฅํ•˜๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
877์€ ํ”ผ์–ด๋ฆฌ๋ทฐ์™€ LLM์˜ ์—ญํ• , ํ•œ๊ณ„๋ฅผ ๋ถ„์„ํ•˜์—ฌ, 883์˜ ํ”ผ์–ด๋ฆฌ๋ทฐ ๋ชจ์ˆœ ํƒ์ง€์™€ ๊ฒฐํ•ฉ๋œ ๋” ๋„“์€ ํ‰๊ฐ€ ์‹œ๊ฐ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
481์˜ Lazyreview ๋ฐ์ดํ„ฐ์…‹์€ NLP ํ”ผ์–ด๋ฆฌ๋ทฐ์˜ 'lazy thinking'์„ ๊ฒ€์ถœํ•˜๋ ค๋Š” ์‹œ๋„๋ฅผ ํ•˜์—ฌ 883์˜ ๋ชจ์ˆœ ํƒ์ง€์™€ ์ƒํ˜ธ๋ณด์™„์ ์ž…๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
์ธ๊ฐ„ ๋ฆฌ๋ทฐ ํŽธํ–ฅ์— ๋Œ€ํ•œ ํ›„ํ–ฅ์ (ํ†ต๊ณ„์ ) ๋ถ„์„ ๋…ผ๋ฌธ์œผ๋กœ, AI ๊ธฐ๋ฐ˜ ๋ฆฌ๋ทฐ ๋ชจ์ˆœ ํƒ์ง€ ์—ฐ๊ตฌ์™€ ์ ‘๋ชฉ ์‹œ ๋‹ค์–‘ํ•œ ์‹ค์ฆ์  ๋…ผ์˜๋ฅผ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •