PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress

Motivation

• Known: 기존 automated reviewer 시스템들은 논문을 accept/reject로 판정하는 judge 역할에 초점을 맞추며, human advisor는 초안에 대해 세밀하고 추적 가능한 피드백을 제공하지만 이는 시간 소모가 크고 확장 불가능하다는 것이 알려져 있다.
• Gap: Autoresearch agent들이 대량의 논문을 빠르게 생성하면서 결함 있는 주장이 문헌에 유입될 위험이 커지고 있는데, 기존 automated reviewer들은 저자에게 실질적으로 도움이 되는 위치 지정(Where)과 수정 제안(How)을 결여한 채 단순 판정만 내려 저자 입장에서 정보성이 부족하다는 갭이 존재한다.
• Why: AI-assisted 연구 및 저작이 급증하는 상황에서 사람 advisor 수준의 세밀한 진단적 피드백을 자동화·확장할 수 있다면, 논문 품질 관리와 재현성 검증을 대규모로 지원하여 더 엄밀한 과학적 발견을 촉진할 수 있다는 점에서 중요하다.
• Approach: 논문을 writing, layout, reference, code, theory, prior work, experiments 등 다차원으로 분해하고, 비용과 주관성이 증가하는 순서로 L1(surface screening), L2(typed claim verifiers), L3(experiment reproducers)의 3계층 파이프라인을 통해 evidence-grounded findings(Why, Where, How triple)를 생성한다.

Achievement

Figure 4. Author votings (accepted / uncertain / rejected) on Paper-

1. 인간 평가와의 일치도: 26명의 대학원 졸업생의 진행 중인 논문 초안에 대해 PaperDoctor의 피드백이 72%의 정확도(agreement)를 달성했다.
2. 다분야 벤치마크 검증: machine learning, natural science, social science 등 40개 논문(human- 및 AI-저작, 코드 포함)에 대해 평가하여 PaperDoctor가 human 및 LLM reviewer보다 더 근거 있는(grounded) 피드백을 생성함을 보였다.
3. 논문 품질과의 상관성: PaperDoctor의 findings가 실제 논문 품질(quality)과 추적 가능한 상관관계를 가짐을 확인했다.
4. 재현 실험을 통한 숨겨진 한계 발견: L3 재현 단계가 코드를 실제로 실행함으로써 논문 본문에서는 드러나지 않는 reproducibility gap과 정량적 한계를 발견해냈다.
5. 데모 인터페이스 공개: 저자가 자신의 논문에 근거된 findings를 직접 탐색할 수 있는 demo interface를 공개하여 커뮤니티 활용성을 높였다.

How

Figure 2. Illustration of PaperDoctor pipeline. PaperDoctor runs three diagnostic stages: L1 paper-only screening (Sec.

• Paper-Code Parsing: 논문과 코드를 입력받아 Pt(섹션 구조화된 markdown, via Mathpix), Pv(페이지별 렌더링 이미지, VLM용), Ct(tree-sitter로 파일 단위 인덱싱된 코드), B(파싱된 bibliography)의 네 가지 재사용 가능한 아티팩트로 분해한다.
• L1 Surface Screening: 모든 제출물에 대해 저비용으로 직접 실행되며, writing, formatting, reference, layout 등 객관적 이슈를 대상으로 한다.
• L2 Typed Verifiers: 논문에서 atomic claim을 추출하여 각 claim을 근거를 소유한 skill(예: prior-work 검증을 위한 web search, figure 평가를 위한 VLM, 구현 검증을 위한 code analysis, 수식 검증을 위한 theory verifier)로 라우팅한다.
• L3 Experiment Reproducers: claim의 중요도와 compute budget에 기반해 실험을 선택적으로 우선순위화하여 재구축·재실행함으로써 실행 시점(execution time)에 재현성과 정확성을 검증한다.
• Finding 구조화: 각 finding을 (fi, ei, si) 즉 observation(Why), evidence pointer(Where), suggestion(How)의 triple로 정의하고, error(확신 있는 오류)와 warning(불확실하여 추가 확인 필요) 두 심각도 수준으로 LLM이 자율적으로 구분한다.

Originality

• 자동 논문 평가를 "judge"(accept/reject 판정)에서 "diagnostician"(진단적 피드백)으로 전환하는 프레이밍 자체가 새로운 관점을 제시한다.
• 비용과 주관성이 증가하는 순서로 구성된 L1-L2-L3 계층적 파이프라인을 통해 검증 비용에 비례한 효율적 자원 배분을 설계한 점이 독창적이다.
• 단순히 코드를 읽는 것이 아니라 claim importance와 compute budget 기반으로 실험을 실제로 재실행(rerun)하여 reproducibility gap을 발견하는 L3 reproduction 설계는 기존 automated reviewer들과 차별화된다.
• Why-Where-How triple 구조를 통해 모든 critique를 auditable하고 actionable하게 만든 평가 형식 자체가 새로운 접근이다.

Limitation & Further Study

• 26명이라는 작은 표본의 human study와 40개 논문이라는 제한된 벤치마크 규모로 인해 다양한 분야와 스타일에 대한 일반화 가능성이 완전히 검증되었다고 보기 어렵다.
• L3 experiment reproduction 단계는 상당한 compute 자원을 요구하므로, 실제 배포 시 비용 및 확장성에 대한 구체적 분석이 부족해 보인다.
• error와 warning의 구분을 LLM이 자율적으로 수행하는데, 이 판단의 신뢰성과 일관성에 대한 심층 분석(예: false positive/negative rate)이 충분히 제시되지 않은 것으로 보인다.
• 후속 연구로는 더 큰 규모의 다분야 데이터셋과 다양한 연구자 집단을 대상으로 한 종단적 검증, 그리고 PaperDoctor 피드백이 실제 논문 개정 및 최종 출판 품질에 미치는 영향에 대한 추적 연구가 필요하다.

Evaluation

총평: Autoresearch 시대에 논문 품질 관리라는 시의적절한 문제를 다루며, judge에서 diagnostician으로의 프레이밍 전환과 실제 코드 재실행을 통한 재현성 검증이라는 실용적 기여가 돋보이는 연구이다. 다만 검증 규모가 상대적으로 작아 향후 더 광범위한 실증 연구를 통한 신뢰성 확보가 필요하다.