Scholawrite: A dataset of end-to-end scholarly writing process

Motivation

• Known: 기존 연구는 최종 원고의 개정 로그나 단기 키스트로크 분석에 초점을 맞춰왔으며, 대부분 짧은 작성 과제나 최종 초안의 버전 비교에 국한되어 있다. Flower and Hayes(1981)의 인지 이론은 계획, 번역, 검토라는 세 가지 하위 프로세스를 제시했으나, 장기적 학술 작성의 세밀한 역학은 충분히 포착되지 못했다.
• Gap: 기존 데이터셋은 최종 원고의 언어 스타일 변화나 피드백 기반 편집에만 초점을 맞추며, 대부분 초록이나 서론 같은 특정 섹션만 다룬다. 장기간에 걸친 전체 인지 프로세스를 실시간으로 포착하고 모든 섹션을 아우르는 데이터가 부족하다. 또한 현재 LLM이 인간의 비선형 작성 과정을 어떻게 지원할 수 있을지에 대한 경험적 분석이 없다.
• Why: 학술 작성은 인간의 인지 활동 중 가장 복잡한 것 중 하나이며, 현재 자동회귀 방식의 LLM은 이러한 반복적, 비선형적 과정과 맞지 않는다. 인간의 작성 과정을 정확히 이해해야만 진정으로 과학자의 인지를 지원하는 어시스턴트를 개발할 수 있다.
• Approach: Overleaf에서 keystroke를 기록하는 Chrome extension을 개발하여 실시간 데이터 수집, 15개 카테고리의 인지적 작성 의도 분류법 구축, 인터랙티브 주석 인터페이스를 통한 세밀한 주석 처리, 그리고 수집된 데이터에 대한 경험적 분석을 수행한다.

Achievement

Figure 3: The number of intentions per writing session

1. Overleaf Chrome extension 개발: 프라이버시를 보호하면서 실시간 keystroke와 텍스트 diff를 안전하게 기록하는 도구 제공. 2. SCHOLAWRITE 데이터셋: 5개의 컴퓨터 과학 프리프린트에서 4개월간 약 62K개의 keystroke 기반 텍스트 변경 사항 수집 및 인지적 의도로 주석 처리. 3. 인지 이론 기반 분류법: 15개의 세분화된 작성 의도 카테고리를 Flower and Hayes 이론에 기반하여 구축. 4. 인간-LLM 간극 분석: 학술 작성이 고도로 비선형적이며 다중 의도적임을 보여주고, 현재 LLM(GPT-5, Qwen)이 표면 수준의 편집만 모방하고 다음 의도 예측이나 복잡한 인지적 개정을 지속하지 못함을 실증적으로 입증.

How

Figure 2: Transition probability matrix between writing

• Overleaf에서 key-up 이벤트 발생 시 가시 텍스트와 이전 버전을 비교하여 diff_match_patch 알고리즘으로 텍스트 차이점 추출 및 타임스탬프, 파일명, 저자 ID 등 메타데이터 저장
• 10명의 대학원 컴퓨터 과학 학생 참여자로부터 4개월간(2023년 11월~2024년 2월) 자연주의적 데이터 수집
• 인터랙티브 주석 인터페이스로 키스트로크 타임라인 시각화, 관련 편집 스팬 검토, 15개 의도 분류법에서 레이블 할당
• 두 명의 주석자가 반복적 개방 코딩으로 인지 패턴 귀납적 식별 후 합의를 통해 분류법 확정
• 수집된 데이터에 대해 세션별 의도 분포, 초기 및 후기 작성 단계의 역학, 작성 과정의 비선형성 등을 경험적으로 분석
• GPT-5, Qwen 등 현재 LLM의 성능을 평가하여 표면 수준의 편집 모방 능력과 의도 예측 능력의 한계 검증

Originality

• Overleaf 플랫폼에서 실시간 keystroke를 unobtrusively 기록하는 최초의 도구 개발로, 기존의 MS Word 기반 keystroke logger와 달리 LaTeX 기반 장기 세션 지원
• 장기적(4개월) end-to-end 학술 작성 데이터셋으로, 기존의 최종 원고 버전 비교나 단기 세션 분석과 구별됨
• 15개의 세분화된 인지적 작성 의도 분류법은 Flower and Hayes의 고전 이론을 현대적 학술 작성에 맞춰 확장
• 인간의 비선형 작성 과정과 LLM의 자동회귀 구조 간의 인지적 간극을 실증적으로 규명하는 첫 대규모 분석

Limitation & Further Study

• 표본 크기가 제한적: 5개의 프리프린트와 10명의 참여자(모두 같은 R1 대학의 컴퓨터 과학 대학원생)로, 다양한 학문 분야나 모국어, 경험 수준을 반영하지 못함. 후속 연구: 다양한 학문 분야, 국가, 경험 수준의 저자를 포함하는 확대 수집 필요. - 주석 일관성: 두 명의 주석자만 사용되었고, inter-rater reliability 수치가 제시되지 않았으며, 복잡한 의도 할당에 대한 해결 절차가 명확하지 않음. - LLM 평가의 제한성: GPT-5와 Qwen의 평가만 수행되었으며, 평가 지표와 프롬프트 엔지니어링 세부사항이 부족함. - 개인정보 보호: Overleaf 프로젝트 ID 사전 승인 필터링은 작동하지만, 코드나 민감한 정보의 우발적 노출 가능성 존재.

Evaluation

총평: SCHOLAWRITE는 학술 작성의 end-to-end 과정을 실시간으로 포착한 최초의 대규모 데이터셋으로, 인간의 인지 프로세스와 현재 LLM 간의 근본적 간극을 규명한다. 방법론적 엄밀성과 실용적 가치가 높으나, 표본의 제한성과 주석 일관성 검증 부족이 개선 필요 영역이다. 학술 작성 지원 도구 개발과 인간-중심 AI 연구에 중요한 기여를 할 것으로 기대된다.