Diamonds in the rough: Generating fluent sentences from early-stage drafts for academic writing assistance

Motivation

• Known: 기존 학술 글쓰기 지원 연구는 주로 grammatical error correction(GEC)과 같이 이미 거의 완성된 문장에 대한 표면적 오류(맞춤법, 문법 등)를 교정하는 editing/proofreading 단계에 초점을 맞춰왔다.
• Gap: 글쓰기 과정(drafting, revising, editing, proofreading) 중 revising 단계, 즉 문장 정보의 조정이나 대대적인 재작성이 필요한 초기 단계에 대한 지원은 NLP에서 거의 연구되지 않았으며, 이를 위한 평가용 데이터(초안-완성본 쌍)도 공개적으로 구하기 어렵다는 문제가 있다.
• Why: 비원어민, 미숙련 저자들이 아이디어는 좋지만 이를 유창한 학술 문장으로 표현하는 데 어려움을 겪는 경우가 많으며, 이들을 위한 초기 초안 개선 지원 도구는 학술 커뮤니티 전반의 글쓰기 품질 향상에 실질적으로 기여할 수 있다.
• Approach: 출판된 논문 문장을 다른 언어(일본어)로 번역한 뒤 비원어민 크라우드워커가 이를 다시 영어로 역번역하게 하여 초안 문장을 인위적으로 생성하고, 품질 필터링을 거쳐 초안-완성본 쌍으로 구성된 평가 데이터셋 SMITH를 구축한다.

Achievement

Overview of the crowdsourcing protocol for

1. 새로운 과제 제안: 초안 문장을 유창한 완성 문장으로 변환하는 SentRev 과제를 처음으로 정의함.
2. 평가 데이터셋 구축 및 공개: 크라우드소싱을 통해 초안-완성본 쌍으로 구성된 SMITH 데이터셋을 만들어 공개함.
3. 데이터셋 특성 분석: SMITH를 주요 코퍼스들과 비교하고 수집된 초안 문장들의 특성을 심층 분석함.
4. 베이스라인 성능 확립: unsupervised model들을 학습시켜 SentRev 과제에 대한 기준 성능을 제시함.

How

Overview of the crowdsourcing protocol for

• ACL Anthology Sentence Corpus(AASC)에서 ACL 2018 논문 중 조건(길이 70~120자, 수식/특수기호 미포함 등)에 맞는 문장 Y^cand를 수집함.
• Google Translate로 Y^cand를 일본어 Y^cand_ja로 번역하고, 저자 2인이 검수하여 오역 문장을 제거함.
• 일본어 크라우드워커(Yahoo! crowdsourcing 이용, 총 306명 참여)에게 15분 내 3문장씩 영어로 역번역(Y^cand_ja→en)하게 하고, 적절한 표현이 떠오르지 않는 위치에는 특수기호 <*>를 삽입하도록 하여 information gap을 명시적으로 드러냄.
• Table 2의 기준에 따라 워커별 점수를 매겨 필터링(score 0 이상만 채택)하고, unigram overlap coefficient가 임계값 α 미만인 (x^cand, y^cand) 쌍을 자동 제거하여 최종 (X, Y) 데이터셋 구성.

Originality

• 기존 GEC/글쓰기 지원 연구가 다루지 않았던 revising 단계(정보 보완, 대대적 재작성)를 새로운 과제(SentRev)로 정식화함.
• 실제 초안 데이터를 구하기 어려운 문제를, 역번역(round-trip translation via L')을 활용한 독창적인 크라우드소싱 프로토콜로 우회하여 해결함.
• 비원어민이 모국어로 사고 후 영어로 번역하는 실제 작문 과정(Cohen and Brooks-Carson, 2001)에 착안한 데이터 생성 방식으로 실제 초안의 특성(정보 누락, 어색한 표현 등)을 시뮬레이션함.
• <*> 토큰을 통해 저자가 의식적으로 인지한 information gap을 명시적으로 수집하는 방법을 고안함.

Limitation & Further Study

• 실제 초안이 아닌 역번역을 통해 인위적으로 생성된 초안이므로, 실제 비원어민 저자의 초안 특성과 완전히 일치하지 않을 가능성이 있음.
• 크라우드워커의 번역 실력이 실제 학술 논문 초안 작성자의 특성(전문 지식, 도메인 어휘)을 완벽히 대변하지 못할 수 있음.
• 단일 언어쌍(영어-일본어)에 기반한 데이터셋이므로 다른 모국어를 가진 저자들의 초안 특성을 일반화하기 어려움.
• 후속 연구로 다양한 L'(모국어) 확장, 실제 저자의 초안 수집, supervised 모델 개발 등이 필요함.

Evaluation

총평: 기존 연구가 다루지 않은 학술 글쓰기의 초기 revising 단계를 새로운 과제로 정식화하고, 이를 위한 창의적인 크라우드소싱 기반 평가 데이터셋을 구축했다는 점에서 실용적, 학술적 가치가 높은 연구이다.