LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction

์ €์ž: Yixuan Wang, Baoxin Wang, Yijun Liu, Dayong Wu, Wanxiang Che | ๋‚ ์งœ: 2024 | DOI: ๋ฏธ์ œ๊ณต 📄 PDF


Essence

์ค‘๊ตญ์–ด ๋ฌธ๋ฒ• ์˜ค๋ฅ˜ ์ˆ˜์ •(CGEC) ์‹œ์Šคํ…œ์˜ ๊ณผ๋„ํ•œ ์ˆ˜์ •(over-correction) ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ๊ธฐ์กด GEC ์‹œ์Šคํ…œ์˜ ์ถœ๋ ฅ์„ ์ž…๋ ฅ๋ฐ›์•„ ์ง์ ‘ ์žฌ์ž‘์„ฑํ•˜๋Š” ๊ฒฝ๋Ÿ‰์˜ ์–ธ์–ด๋ชจ๋ธ ๊ธฐ๋ฐ˜ ํ•„ํ„ฐ๋ง ๋ชจ๋ธ์„ ์ œ์•ˆํ•œ๋‹ค.

Motivation

Achievement

Figure 1: ๊ณผ๋„ํ•œ ์ˆ˜์ • ๋ฌธ์ œ์˜ ์˜ˆ์‹œ๋กœ, ์›๋ฌธ์—์„œ ์˜ฌ๋ฐ”๋ฅธ ๋ถ€๋ถ„(ํŒŒ๋ž€์ƒ‰)๊นŒ์ง€ ๋ณ€๊ฒฝํ•˜๋Š” ๊ฒƒ์„ ๋ณด์—ฌ์ฃผ๊ณ , LM-Combiner๊ฐ€ ์ด๋ฅผ ํ•„ํ„ฐ๋งํ•˜๋Š” ๊ณผ์ • ํ‘œ์‹œ
  1. ์ •ํ™•๋„ ๋Œ€ํญ ๊ฐœ์„ : FCGEC ๋ฐ์ดํ„ฐ์…‹์—์„œ ๊ธฐ์ค€ ๋ชจ๋ธ ๋Œ€๋น„ ์ •ํ™•๋„(Precision) +18.2์  ํ–ฅ์ƒ, F0.5 +5.8์  ๊ฐœ์„ ์œผ๋กœ SOTA ์ˆ˜์ค€ ๋‹ฌ์„ฑ
  2. ์žฌํ˜„์œจ ์œ ์ง€: ๋†’์€ ์ •ํ™•๋„ ๊ฐœ์„ ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ์žฌํ˜„์œจ(Recall)์„ ์ผ์ •ํ•˜๊ฒŒ ์œ ์ง€ํ•˜์—ฌ ์‹ค์šฉ์„ฑ ํ™•๋ณด
  3. ๊ฒฝ๋Ÿ‰์„ฑ๊ณผ ํšจ์œจ์„ฑ: ์†Œ๊ทœ๋ชจ ํŒŒ๋ผ๋ฏธํ„ฐ์™€ ์ œํ•œ๋œ ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ(์ฒœ ๋‹จ์œ„)๋กœ๋„ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ ๋‹ฌ์„ฑ, ChatGPT ๊ฐ™์€ ๋ธ”๋ž™๋ฐ•์Šค ์‹œ์Šคํ…œ์˜ ๊ณผ๋„ํ•œ ์ˆ˜์ • ์™„ํ™”์— ํ™œ์šฉ ๊ฐ€๋Šฅ

How

Figure 2: ์ˆ˜์ •-์žฌ์ž‘์„ฑ ํ”„๋ ˆ์ž„์›Œํฌ์˜ ํ”Œ๋กœ์šฐ์ฐจํŠธ๋กœ, ํ›ˆ๋ จ ๋‹จ๊ณ„์—์„œ K-fold ๊ต์ฐจ ์ถ”๋ก ์œผ๋กœ ๊ณผ๋„ ์ˆ˜์ • ๋ฌธ์žฅ ์ƒ์„ฑ ํ›„ ํ•™์Šต, ์ถ”๋ก  ๋‹จ๊ณ„์—์„œ ์›๋ฌธ๊ณผ GEC ์ถœ๋ ฅ๋งŒ์œผ๋กœ ์žฌ์ž‘์„ฑ

๋ฐ์ดํ„ฐ ๋ ˆ๋ฒจ

๋ชจ๋ธ ๋ ˆ๋ฒจ

Originality

Limitation & Further Study

Evaluation

์ดํ‰: ๊ณผ๋„ํ•œ ์ˆ˜์ • ๋ฌธ์ œ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ์žฌ์ž‘์„ฑ ๋ชจ๋ธ์ด๋ผ๋Š” ์‹ค์šฉ์ ์ธ ์ ‘๊ทผ์„ ์ œ์‹œํ•˜๋ฉฐ, K-fold ๊ต์ฐจ ์ถ”๋ก ์ด๋ผ๋Š” ์ฐฝ์˜์  ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ ๋ฐฉ๋ฒ•์œผ๋กœ ์ธํ•ด ํ•™์ˆ ์  ๊ฐ€์น˜๊ฐ€ ์žˆ๋‹ค. ๋‹ค๋งŒ ํ‰๊ฐ€ ๋ฒ”์œ„์˜ ํ™•๋Œ€์™€ ๋” ์—„๋ฐ€ํ•œ ์ผ๋ฐ˜ํ™” ๊ฒ€์ฆ์ด ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
ํ•œ๊ตญ์–ด ๋ฐ ์ค‘๊ตญ์–ด ๋“ฑ ๋‹ค๊ตญ์–ด ์˜๋ฏธ ์˜ค๋ฅ˜ ๋ฐ ๋ฌธ๋ฒ• ์˜ค๋ฅ˜ ๊ฒ€์ถœ์„ ์œ„ํ•œ ๋ชจ๋ธ ๊ฐœ๋ฐœ์˜ ๊ธฐ๋ฐ˜์ด ๋ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์œ„ํ‚คํ”ผ๋””์•„ ์ˆ˜์ • ๋ฐ์ดํ„ฐ์—์„œ ๋ฌธ์žฅ ์žฌ์ž‘์„ฑ ๋ฐ ์˜ค๋ฅ˜ ๊ฒ€์ถœ ์„ฑ๋Šฅ ๋ถ„์„์„ ํ†ตํ•ด, LM-Combiner ๋ฐฉ์‹๊ณผ ๊ทผ๋ณธ์  ์ฐจ๋ณ„์„ฑ์„ ๊ฒ€ํ† ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์˜๋ฃŒ ์—ฐ๊ตฌ ๋…ผ๋ฌธ ์ •๋ณด์˜ ๋‹ค๋ฌธ์„œ ์š”์•ฝ์—์„œ ๋‹ค์–‘ํ•œ GEC ๋ฐฉ๋ฒ•์ด ๋‚ด์žฌ๋˜์–ด ํ™œ์šฉ๋˜๋Š” ์‹ค์ œ ์‘์šฉ ์‚ฌ๋ก€๋กœ, 512์˜ CGEC ์žฌ์ž‘์„ฑ ์‹œ์Šคํ…œ์˜ ์‹ค์ „์  ๊ฐ€์น˜๋ฅผ ํƒ์ƒ‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
423 ๋…ผ๋ฌธ ์—ญ์‹œ ๋งฅ๋ฝ์ •๋ณด ๊ธฐ๋ฐ˜์˜ ์˜ค๋ฅ˜ ์ˆ˜์ • ๋ชจ๋ธ์„ ์ œ์‹œํ•˜๋ฉฐ, 512์˜ GEC ์˜ค๋ฒ„์ฝ”๋ ‰์…˜ ์™„ํ™” ๋ชฉ์ ๊ณผ ๋Œ€์•ˆ์  ์„ค๊ณ„ ๋ฐฉ์‹์„ ๋ณด์—ฌ์ค€๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
GEC์™€ AWE๋ฅผ ํ†ตํ•ฉํ•ด ๋ฌธ๋ฒ• ์ˆ˜์ • ๋ฐ ํ‰๊ฐ€์˜ ์‹ค์ œ ์ ์šฉ ์—ฐ๊ตฌ๋กœ, LM-Combiner ๋ฐฉ์‹๊ณผ์˜ ์‹ค์ œ ์“ฐ๊ธฐ ํ‰๊ฐ€ ํšจ๊ณผ ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๊ฒฐ๊ณผ๋ฌผ์˜ ๋งฅ๋ฝ์  ์žฌ์ž‘์„ฑ ๋ฐ ์ž๊ฐ€ ๊ฐœ์„  ์ „๋žต์„ LLM์— ์ ์šฉํ•˜๋Š” ์•„์ด๋””์–ด๋กœ, reasoning ์œ ๋„์™€ ํ”ผ๋“œ๋ฐฑ ํ™œ์šฉ ์ธก๋ฉด์ด ์œ ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
791(Text editing by command)์€ LLM์„ ํ™œ์šฉํ•œ ๋ฌธ์žฅ ์žฌ์ž‘์„ฑ/์ˆ˜์ • ํ”„๋ ˆ์ž„์„ ์ œ์‹œํ•˜์—ฌ, 512์˜ ๋ฌธ๋ฒ•๊ต์ • ํ•„ํ„ฐ๋ง๊ณผ ์‚ฌ์šฉ์„ฑ ํ‰๊ฐ€ ์—ฐ๊ตฌ ๋ฒ”์œ„๋ฅผ ์ฐฝ์˜์  ํ…์ŠคํŠธ ํŽธ์ง‘ ์‘์šฉ์œผ๋กœ ํ™•์žฅํ•  ์ˆ˜ ์žˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๋ฌธ๋งฅ ๋ฆฌ๋ผ์ดํŒ… ๊ธฐ๋ฐ˜ ๋ฌธ๋ฒ• ์˜ค๋ฅ˜ ๊ต์ • ๋ชจ๋ธ ์—ฐ๊ตฌ๋Š” ๊ทœ์น™/๋ชจ๋ธ ์œตํ•ฉ์‹ ๋ฐ์ดํ„ฐ ์ฆ๊ฐ• ๊ธฐ๋ฒ•์ด ์‹ค์ œ GEC ์„ฑ๋Šฅ์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ํ™•์žฅ์ ์œผ๋กœ ๋ถ„์„ํ•˜๋Š” ๋ฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •