Read, Revise, Repeat: A System Demonstration for Human-in-the-Loop Iterative Text Revision

Motivation

Known: 대규모 언어모델(LLM)은 일회성(one-shot) 텍스트 개정 작업에서 우수한 성능을 보임
Gap: 기존 신경망 기반 개정 시스템들은 인간 작문의 반복적(iterative) 특성과 사용자 피드백을 고려하지 않음. 반복적으로 적용한 일회성 모델은 노이즈 편집을 생성하여 사용자 부담 증가
Why: 실제 인간 작가는 동시에 여러 제약(내용 커버리지, 언어 규범, 담화 관례 등)을 처리할 수 없어 반복적으로 개정함. 따라서 각 반복 단계에서 인간 피드백으로 해로운 편집을 필터링하면 더 높은 품질의 개정이 가능
Approach: 인간-기계 협력 인터페이스를 통해 사용자가 모델의 편집 제안(edit intention 포함)을 승인/거절하고, 승인된 편집만 다음 반복 단계에 통합

R3의 사용자 인터페이스: (a) 로그인, (b) 가이드라인, (c) 문서 선택, (d) 편집 제안 및 상호작용 패널

반복적 개정의 해석성과 제어성 향상: 편집 의도(fluency, coherence, clarity, style)를 명시적으로 표시하여 사용자에게 세밀한 통제권 제공. 이미 고품질인 부분은 재검토할 필요가 없어 인지 부하 감소
효율성 증대: 인간-기계 상호작용이 더 적은 반복 횟수와 편집으로 높은 품질의 개정 달성. 실증 실험에서 R3의 편집 수용률(acceptance rate)이 초기 개정 깊이(revision depth)에서 인간 작가 수준과 유사
최초의 협력형 반복 개정 시스템: 기존 일회성 방식의 개정 시스템과 달리 반복적 협력을 지원하는 최초의 실용적 시스템 구현

편집 의도 식별 모델(Edit Intention Identification Models):
- 1단계: 편집 필요 여부를 이진 분류(edit-prediction classifier)
- 2단계: 필요한 편집 유형 분류(edit-intention classifier) → 4개 카테고리(FLUENCY, COHERENCE, CLARITY, STYLE)
텍스트 개정 생성 모델(Text Revision Generation Model):
- PEGASUS 기반 사전학습 모델을 수집 데이터셋으로 미세조정
- 원문 문장 + 예측된 편집 의도 → 개정된 문장 생성
- latexdiff와 difflib로 모든 편집 추출
사용자 상호작용 플로우:
- 각 반복 깊이 t에서 시스템이 제안된 편집과 의도 제시
- 사용자가 수용/거절 결정
- 수용된 편집을 다음 반복에 통합
- 최대 반복 깊이 도달 또는 추가 편집 부재 시 종료

실험 규모: 제시된 본문에서 RQ1-RQ3 설정만 언급되고 결과 분석이 불완전함
모델 아키텍처: PEGASUS 기반 상대적으로 기본적인 생성 모델 사용
평가 기준: 수용률(acceptance rate)만으로는 개정 품질의 충분한 평가 어려움. 일관성(consistency), 문법성(grammaticality) 등 다각적 평가 필요
문서 길이: 실험 범위(문서 길이, 도메인 등) 제한 가능성
향후: (1) 더 고급 모델 아키텍처 적용, (2) 다양한 도메인/작문 스타일 확대, (3) 최소 인간 노력으로 최대 품질 달성하는 최적화 알고리즘 개발