/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/889_Xtragpt_Llms_for_human-ai_collaboration_on_controllable_acad

Motivation

• Known: GPT-4o와 같은 proprietary LLM을 활용한 프롬프트 기반 학술 논문 수정이 널리 사용되고 있으며, PaperRobot, STORM, CycleResearcher, AI Scientist 등 전체 논문 생성 또는 리뷰 보조 시스템들이 존재한다.
• Gap: 기존 시스템들은 surface-level polishing에 그치거나 처음부터 생성(from scratch)하는 방식에 집중되어 있어, 섹션 단위의 instruction-driven 수정, 원문 맥락(context) 유지, 그리고 저자 의도(intent)에 따른 제어 가능성을 동시에 만족시키지 못하며, 학술 저술 특유의 반복적(iterative)이고 피드백 중심적인 revision 과정을 지원하지 못한다.
• Why: 학술 글쓰기는 반복적 수정 과정이 핵심임에도 현재 LLM 워크플로우는 각 프롬프트를 독립적으로 처리하여 맥락 추적이 불가능하며, 저자의 창의적 통제권을 유지하면서도 고품질의 근거 기반(rationale-driven) 수정을 지원하는 오픈소스 도구의 부재는 실질적인 연구 커뮤니케이션 향상에 큰 걸림돌이 된다.
• Approach: 저자는 criteria-guided intent alignment와 context-aware modeling을 중심으로 한 human-AI collaboration 프레임워크를 설계하고, 20개의 section-level 수정 기준을 기반으로 post-training된 오픈소스 LLM 계열 XtraGPT를 제안한다.

Achievement

1. ReviseQA 데이터셋 구축: top-tier venue 논문 7,000편과 이를 기반으로 한 140,000개의 instruction-revision 쌍을 20개 section-level 기준에 따라 수집·주석하여 realistic한 학술 수정 시나리오를 반영했다.
2. XtraGPT 모델 계열 공개: 1.5B~14B 파라미터 규모의 최초 오픈소스 context-aware, instruction-guided academic writing assistant 계열을 제시했다.
3. 성능 검증: LLM-as-a-Judge의 length-controlled win rate 평가에서 XtraGPT가 동일 규모 baseline을 능가하고, 7B 모델이 GPT-4o-mini에 필적, 14B 모델은 이를 능가함을 확인했다.
4. 인간 평가를 통한 실질적 효과 입증: 사람 평가자들이 XtraGPT의 수정안을 채택할 의사가 높았으며, 예측된 논문 전체 평점이 6.08에서 6.73으로 유의미하게(p<0.001) 상승함을 보였다.

How

Framework overview. The post-training pipelines enable controllable, section-level, fine-

• 문제를 ˆp = Model_θ(p, q, T) 형태로 정식화하여, 전체 논문 draft T, 수정 대상 paragraph p, 자연어 instruction q를 입력으로 받아 global context와 일관된 수정된 paragraph ˆp를 생성하도록 함
• Human-AI Collaboration(HAC)을 핵심 설계 철학으로 삼아 post-training 프레임워크를 구축
• ICLR reviewer guide 등 authoritative writing guide와 숙련된 AI 연구자의 expert revision을 참고하여 20개 section-level 기준을 정의
• 이 기준을 활용해 ReviseQA 데이터셋을 curation하고, 이를 통해 XtraGPT를 post-training하여 in-context learning(ICL) 능력을 강화
• length-controlled LLM-as-a-Judge를 이용한 평가 프레임워크로 controllability와 effectiveness를 정량적으로 측정

Originality

• 학술 논문 revision을 처음부터 생성(from-scratch generation)이 아닌 반복적(iterative), instruction-driven, section-level 수정 문제로 명시적으로 정식화한 최초 시도
• 기존 연구들(Table 1)이 ICL, controllability, HAC 메커니즘 중 일부만 충족하는 반면, 본 연구는 이 세 가지를 모두 통합한 최초의 프레임워크로 제시
• 20개 section-level writing criteria를 기반으로 한 대규모(140K) instruction-revision 데이터셋 ReviseQA를 신규 구축하여 공개
• 코드 에디터의 모듈성과 상호작용성에서 영감을 받아 논문 수정 도구를 설계한 독창적 접근

Limitation & Further Study

• 발췌된 내용만으로는 20개 section-level criteria의 구체적 정의와 annotation 프로세스의 신뢰도(inter-annotator agreement 등)가 명확히 드러나지 않아 데이터 품질 검증이 추가로 필요함
• LLM-as-a-Judge 기반 평가는 judge 모델 자체의 편향에 취약할 수 있어, 더 다양한 human evaluation 및 다른 judge 모델과의 교차검증이 요구됨
• 후속 연구로 다중 라운드(multi-turn) revision 시나리오에서의 장기적 context 유지 성능 및 실제 저자와의 field study를 통한 실용성 검증이 필요함
• 모델이 특정 top-tier venue 스타일에 과적합되어 다른 분야나 형식의 논문에 일반화되지 않을 가능성에 대한 논의가 부족함

Evaluation

총평: 학술 논문 수정이라는 실용적이면서도 그동안 충분히 다뤄지지 않은 문제를 명확히 정식화하고, 대규모 데이터셋과 오픈소스 모델 계열을 함께 공개하여 재현성과 후속 연구를 촉진한다는 점에서 의미 있는 기여를 한 연구이다.