Withdrarxiv: A large-scale dataset for retraction study

์ €์ž: Delip Rao, Jonathan Young, Thomas G. Dietterich, Chris Callison-Burch | ๋‚ ์งœ: 2024 | DOI: [๋ฏธ๊ณต๊ฐœ] 📄 PDF


Essence

Figure 1

arXiv ์ดˆ๋ก ํŽ˜์ด์ง€์—์„œ ์ถ”์ถœํ•œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์š”์†Œ

๋ณธ ๋…ผ๋ฌธ์€ arXiv ํ”Œ๋žซํผ์—์„œ ์ฒ ํšŒ๋œ 14,000๊ฐœ ์ด์ƒ์˜ ๋…ผ๋ฌธ์„ ์ˆ˜์ง‘ํ•œ ์ฒซ ๋Œ€๊ทœ๋ชจ ์ฒ ํšŒ ์—ฐ๊ตฌ ๋ฐ์ดํ„ฐ์…‹(WithdrawArXiv)์„ ์ œ์‹œํ•˜๋ฉฐ, ์ฒ ํšŒ ์ด์œ ๋ฅผ 10๊ฐ€์ง€ ๋ฒ”์ฃผ๋กœ ๋ถ„๋ฅ˜ํ•˜๋Š” ์ž๋™ ๋ถ„๋ฅ˜ ์ฒด๊ณ„๋ฅผ ๊ฐœ๋ฐœํ–ˆ๋‹ค.

Motivation

Achievement

Figure 2

์ˆ˜๋™ ์ฃผ์„ 10% ๊ณ„์ธตํ™” ์ƒ˜ํ”Œ(์ด 1,620๊ฐœ)์—์„œ ํ‰๊ฐ€ํ•œ ์ œ๋กœ์ƒท ๋ถ„๋ฅ˜ ํ˜ผ๋™ ํ–‰๋ ฌ

  1. WithdrawArXiv ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•: 2024๋…„ 9์›”๊นŒ์ง€ arXiv ์ „์ฒด ์—ญ์‚ฌ์— ๊ฑธ์นœ 16,395๊ฐœ์˜ ์ฒ ํšŒ ๋…ผ๋ฌธ๊ณผ ๊ด€๋ จ ์˜๊ฒฌ์„ ํฌํ•จํ•œ ์ฒซ ๋Œ€๊ทœ๋ชจ dataset ๊ฐœ๋ฐœ
  2. ์ฒ ํšŒ ์ด์œ  ๋ถ„๋ฅ˜ ์ฒด๊ณ„ ๊ฐœ๋ฐœ: 10๊ฐ€์ง€ ๋ฒ”์ฃผ(์ค‘๋Œ€ํ•œ ์˜ค๋ฅ˜, ๋ฏธ์™„์„ฑ ์ €์ž‘, ์˜คํƒ€, ์‹ ๊ทœ์„ฑ ๋ถ€์กฑ, ํ–‰์ •/๋ฒ•์  ๋ฌธ์ œ, arXiv ์ •์ฑ… ์œ„๋ฐ˜, ๋‹ค๋ฅธ ์ถœํŒ๋ฌผ์— ํฌํ•จ, ํ‘œ์ ˆ, ๊ฐœ์ธ์  ์‚ฌ์œ , ๋ฏธ๋ช…์‹œ)๋ฅผ ์‹๋ณ„ํ•˜๊ณ  ๊ฐ ๋ฒ”์ฃผ๋ณ„ ์˜ˆ์ œ ์ œ์‹œ
  3. ๋†’์€ ์ •ํ™•๋„์˜ ์ž๋™ ๋ถ„๋ฅ˜ ๋‹ฌ์„ฑ: ๊ฐ€์ค‘ ํ‰๊ท  F1-score 0.9594๋กœ ์ œ๋กœ์ƒท ํ”„๋กฌํ”„ํŒ… ๋ถ„๋ฅ˜ ์„ฑ๋Šฅ ์ž…์ฆ, ํŠนํžˆ "๊ฐœ์ธ์  ์‚ฌ์œ "(1.0)์™€ "์ค‘๋Œ€ํ•œ ์˜ค๋ฅ˜"(0.9967)์—์„œ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ
  4. WithdrawArXiv-SciFy ๋ฆด๋ฆฌ์Šค: ๊ณผํ•™์  ์‹คํ˜„๊ฐ€๋Šฅ์„ฑ ์—ฐ๊ตฌ, ์ฃผ์žฅ ๊ฒ€์ฆ, ์ž๋™ํ™”๋œ ์ •๋ฆฌ ์ฆ๋ช…์„ ์œ„ํ•ด ํŒŒ์‹ฑ๋œ ์ „์ฒด ํ…์ŠคํŠธ PDF ์Šคํฌ๋ฆฝํŠธ๋ฅผ ํฌํ•จํ•œ ํ™•์žฅ ๋ฐ์ดํ„ฐ์…‹ ๊ณต๊ฐœ

How

Figure 3

๋…ผ๋ฌธ ์ฒ ํšŒ ์‚ฌ์œ ์˜ ๋ถ„ํฌ

Originality

Limitation & Further Study

Evaluation

Novelty: 4.5/5 Technical Soundness: 4.5/5 Significance: 4/5 Clarity: 4.5/5 Overall: 4.4/5

์ดํ‰: ์ด ๋…ผ๋ฌธ์€ STEM ๋ถ„์•ผ์—์„œ ์ฒ˜์Œ์œผ๋กœ ๋Œ€๊ทœ๋ชจ ๋…ผ๋ฌธ ์ฒ ํšŒ ๋ฐ์ดํ„ฐ์…‹์„ ์ œ์‹œํ•˜๊ณ  ์‹ค์šฉ์  ์ž๋™ํ™” ๋ฐฉ๋ฒ•๋ก ์„ ์ œ๊ณตํ•˜์—ฌ ๊ณผํ•™ ๋ฌด๊ฒฐ์„ฑ ์—ฐ๊ตฌ์— ์ค‘์š”ํ•œ ๊ธฐ์—ฌ๋ฅผ ํ•˜๊ณ  ์žˆ์œผ๋‚˜, ๋‹จ์ผ ํ”Œ๋žซํผ ํ•œ์ •๊ณผ ๋ถ„๋ฅ˜ ์„ธ๋ถ„ํ™” ๋ฏธํก์ด๋ผ๋Š” ์ œํ•œ์‚ฌํ•ญ์ด ์žˆ๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
988๋ฒˆ ๋…ผ๋ฌธ์€ ์ฒ ํšŒ ๋…ผ๋ฌธ์˜ ์ฃผ์š” ์›์ธ์œผ๋กœ ๋ถ€์ •ํ–‰์œ„๋ฅผ ๋ฐํ˜€, 885๋ฒˆ ์ฒ ํšŒ ์‚ฌ์œ  ๋ถ„๋ฅ˜ ๋ฐ ์˜ํ–ฅ ์—ฐ๊ตฌ์˜ ์ด๋ก ์  ์ถœ๋ฐœ์ ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
680 ๋…ผ๋ฌธ์ด ํ™œ์šฉํ•œ ์ฒ ํšŒ ๋…ผ๋ฌธ ๋ฐ์ดํ„ฐ์…‹์€ 885์˜ ๋Œ€๊ทœ๋ชจ retraction ๋ฐ์ดํ„ฐ ๊ตฌ์ถ•์— ๊ธฐ๋ฐ˜ํ•˜๋ฏ€๋กœ ์ƒํ˜ธ์ฐธ์กฐ๊ฐ€ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
Withdrarxiv ๋…ผ๋ฌธ์€ ๋…ผ๋ฌธ ์ฒ ํšŒ ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ• ์‚ฌ๋ก€๋กœ, SPOT ๋ฒค์น˜๋งˆํฌ์™€ ํ•จ๊ป˜ LLM์˜ ๋…ผ๋ฌธ ์˜ค๋ฅ˜ ํƒ์ง€ ์„ฑ๋Šฅ ๋น„๊ต์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ORb Dataset์€ ๋ฆฌ๋ทฐ์–ด์˜ ํ’ˆ์งˆ ๋ฐ ์‹ ๋ขฐ๋„ ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์ถ•ํ•˜์—ฌ ๋…ผ๋ฌธ ์ฒ ํšŒ ์—ฐ๊ตฌ์—์„œ ๋‚˜ํƒ€๋‚˜๋Š” ๊ฒ€์ฆ ๋ฌธ์ œ ์ ‘๊ทผ๋ฒ•์„ ๋‹ฌ๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
591๋ฒˆ ๋…ผ๋ฌธ์€ OpenReview ๊ธฐ๋ฐ˜ ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ๋‹ค๋ฃจ์–ด, arXiv ์ฒ ํšŒ ๋…ผ๋ฌธ(885๋ฒˆ) ๋ฐ์ดํ„ฐ์™€๋Š” ๋‹ค๋ฅธ ์ธก๋ฉด์—์„œ ๋ฆฌ๋ทฐ ๋ฐ ๋…ผ๋ฌธ ๊ด€๋ จ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ž์œจ AI ์—ฐ๊ตฌ ์‹œ์Šคํ…œ์˜ ํ˜‘์—… ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
AI๋ฅผ ํ™œ์šฉํ•œ ํ•™์ˆ  ๋…ผ๋ฌธ ๋ถ„์„ ๋ฐ ํ‰๊ฐ€ ๋ฐฉ๋ฒ•์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
885๋Š” ๋…ผ๋ฌธ ์ฒ ํšŒ ๋ฐ์ดํ„ฐ์…‹์„ ์ œ๊ณตํ•˜์—ฌ, 913์˜ ๋Œ€๊ทœ๋ชจ S2ORC ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์™€ ๊ฒฐํ•ฉํ•˜๋ฉด ๋…ผ๋ฌธ ํ’ˆ์งˆ๊ณผ ์‹ ๋ขฐ ์—ฐ๊ตฌ์— ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
์—ฐ๊ตฌ ๋…ผ๋ฌธ ์ฒ ํšŒ์™€ ๋ณด๊ณ  ์™œ๊ณก ๋“ฑ์—์„œ AI ํ™œ์šฉ์— ๋”ฐ๋ฅธ ์‹ฌ๋ฆฌยท์‚ฌํšŒ์  ์˜ํ–ฅ ์—ฐ๊ตฌ๋กœ, AI ๋Œ€ํ™”ํ˜• ์—์ด์ „ํŠธ๊ฐ€ ์•ผ๊ธฐํ•  ์ˆ˜ ์žˆ๋Š” ์ถ”๊ฐ€ ์œ„ํ—˜์„ฑ์„ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
093๋ฒˆ ๋…ผ๋ฌธ์€ AI ์ƒ์„ฑ ์—ฐ๊ตฌ์˜ ํ‘œ์ ˆ ๋ฌธ์ œ๋ฅผ ๋Œ€๊ทœ๋ชจ ์‹คํ—˜์œผ๋กœ ์ž…์ฆํ•˜๋ฉฐ, 885๋ฒˆ์—์„œ ์ œ๊ธฐํ•œ ๋…ผ๋ฌธ ์ฒ ํšŒ์˜ ์ฃผ์š” ์‚ฌ์œ ์ธ ํ‘œ์ ˆ ๊ฒ€์ถœ ๋ฐ ์˜ˆ๋ฐฉ ์—ฐ๊ตฌ์˜ ํ›„์† ๋…ผ์˜๋กœ ์—ฐ๊ณ„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
1142๋ฒˆ ๋…ผ๋ฌธ์€ ์ฒ ํšŒ ๊ทธ ์ž์ฒด๋ฅผ ๋„˜์–ด ๋ถ€์ •ํ–‰์œ„์™€ ๋น„์ •์ƒ ๊ณผํ•™ํ–‰์œ„๋ฅผ ํฌ๋ Œ์‹์ ์œผ๋กœ ๋ถ„์„ํ•˜์—ฌ, 885๋ฒˆ์˜ ๋Œ€๊ทœ๋ชจ ์ฒ ํšŒ ๋ฐ์ดํ„ฐ์…‹ ํ™œ์šฉ์˜ ์ถ”๊ฐ€์  ์‚ฌํšŒ์  ํ•จ์˜๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
885 ๋…ผ๋ฌธ์€ ๋…ผ๋ฌธ ์ฒ ํšŒ(retraction) ๋ฐ์ดํ„ฐ์…‹์„ ์ œ๊ณตํ•จ์œผ๋กœ์จ, 664์˜ ๊ด€๋ จ์„ฑ ํŒ๋ณ„ ์‹œ์Šคํ…œ์ด ์‹ค์ œ ๋ฐ์ดํ„ฐ ํ’ˆ์งˆ ๋ฌธ์ œ์— ์–ด๋–ป๊ฒŒ ์ ์šฉ๋  ์ˆ˜ ์žˆ๋Š”์ง€ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
Withdrarxiv ๋…ผ๋ฌธ์€ AI๊ฐ€ ์ž‘์„ฑํ•œ ๋…ผ๋ฌธ์˜ ์ฒ ํšŒ ์œ„ํ—˜์„ฑ๊ณผ ์‹ค์ œ ์‚ฌ๋ก€๋ฅผ ๋Œ€๊ทœ๋ชจ๋กœ ๋ถ„์„ํ•˜์—ฌ, ์ž๋™ ํ‰๊ฐ€ ์ง€ํ‘œ ๊ธฐ๋ฐ˜ ์˜ค๋ฅ˜ ํƒ์ง€์™€ ์‹ค์ œ ๋ฆฌํŠธ๋ž™์…˜ ๋ฐ์ดํ„ฐ์˜ ์—ฐ๊ฒฐ๊ณ ๋ฆฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •