Text editing by command

Motivation

• Known: GPT-2/GPT-3 같은 대규모 언어 모델은 유창한 텍스트 생성이 가능하지만, 생성 과정에서의 제어가 어렵고 환각(hallucination) 현상이 발생한다. 기존 연구는 주로 한 번의 생성(one-shot generation)을 기준으로 한다.
• Gap: 실제 인간의 저작 과정은 다중 반복(multi-iteration draft-edit cycle)을 거치며, 초기 요구사항이 동적으로 변할 수 있다. 기존 시스템은 이러한 대화형 편집 요구를 충족하지 못한다.
• Why: Grammarly나 MS Word 같은 기존 도구들은 주로 작은 규모의 편집(paraphrase)에 중점을 두고 있으며, 내용 추가/삭제 또는 의미 변경 같은 광범위한 편집을 지원하지 않는다.
• Approach: 사용자 명령(q), 원본 문장(D), 그라운딩(G)을 입력받아 편집된 문장(D')을 생성하는 조건부 생성 작업을 정의하고, 위키피디아 편집 이력을 활용하여 대규모 데이터셋을 구축한다.

Achievement

1. 새로운 텍스트 편집 작업 정의 및 대규모 데이터셋 구축: 위키피디아 2020년 2월 덤프에서 약 1,185만 개의 문장 수준 편집(WikiDocEdits)을 추출했으며, 편집자 댓글을 자연어 명령으로, 검색 엔진 쿼리 결과를 그라운딩으로 활용했다.
2. 모델 성능: Transformer 기반 Interactive Editor가 파라핏(parrot) 및 GPT-2 베이스라인을 능가하며, 자동 평가와 인간 평가에서 모두 긍정적 결과를 달성했다.
3. 정밀한 분석: 명령과 그라운딩의 중요성을 실증적으로 입증하고, 데이터셋 내 편집의 난이도 차이를 분석했다.

How

• 데이터 구성: Wikipedia 편집 이력에서 문장 수준의 매칭을 통해 편집 쌍(edit pairs)을 추출하며, BLEU 점수(ε=0.1)를 기준으로 필터링한다. 단일 문장 편집만을 포함하여 편집자 댓글의 관련성을 보장한다.
• 그라운딩 검색: 페이지/섹션 제목과 대상 문장의 키워드를 조합하여 상용 검색 엔진에 쿼리하고, 상위 200개 스니펫을 수집한 후 4-gram 중복도를 제거하고 정보 추출 점수로 재정렬한다.
• 입력 설계: 명령(q), 원본 문장(s), 그라운딩 텍스트(G)를 모두 모델 입력으로 사용하며, 이는 검색/QA 설정의 쿼리 역할을 한다.
• 편집 유형 분류: Yang et al. (2017)의 분류기를 활용하여 편집을 유창성(fluency, 57%) 및 내용(content, 24.77%) 편집으로 분류한다.
• 커버리지 평가: BERTScore 기반 회수율(RBERT)을 사용하여 그라운딩이 삽입된 단어를 얼마나 잘 포함하는지 측정한다(그라운딩만으로도 51% 평균 커버리지).

Originality

• 새로운 작업 정의: 종래의 원샷 생성과 달리 명시적인 사용자 명령과 외부 그라운딩을 포함하는 조건부 텍스트 편집 작업을 처음 제안한다.
• 대규모 실제 데이터셋: Wikipedia 편집 이력에서 자동 추출한 1,185만 개의 실제 편집 데이터로, 자연어 명령(편집자 댓글)과 그라운딩을 포함한 유일한 대규모 자원이다.
• 상태 유지 편집 개념: 문서의 현재 상태를 유지하며 점진적으로 편집하는 개념을 도입하여, 기존의 상태 무관(stateless) 텍스트 재생성과 구분한다.
• BERTScore 기반 커버리지 측정: 동의어와 문맥을 고려한 퍼지 매칭을 통해 편집 커버리지를 더 정교하게 평가한다.

Limitation & Further Study

• 문장 수준 제한: 현재 작업은 문장 단위 편집만 고려하며, 문서 수준의 구조적 편집(단락 재배열 등)은 미처리 상태이다. 향후 복합 편집을 다중 문장 편집의 조합으로 모델링할 필요가 있다.
• 그라운딩 의존성: 테스트 시에는 사용자가 그라운딩을 제공해야 하며, 자동 검색 시스템의 성능에 큰 영향을 받는다. 실제 사용 시나리오에서 그라운딩 검색 메커니즘의 견고성이 과제이다.
• 편집자 댓글의 대리성: 위키피디아 편집자 댓글을 자연어 명령으로 사용했으나, 이들이 편집의 의도를 완벽하게 표현하지 못할 수 있다.
• 향후 확장: 실시간 상호작용 시스템의 구축, 다중 문서 수준 편집의 지원, 그리고 구조화된 데이터(표, 그래프)를 그라운딩으로 활용하는 확장이 필요하다.

Evaluation

총평: 본 논문은 기존의 원샷 생성 패러다임을 넘어 사용자와의 대화형 상호작용을 통한 문서 생성을 처음 체계적으로 제안한 점에서 의미가 있으며, 실제 위키피디아 데이터를 기반한 대규모 데이터셋은 향후 연구의 기초가 될 만큼 가치가 있다.