A Prompting Workflow and a Use Case in Mathematical Statistics

Motivation

• Known: Wasserstein-bounded contamination이 없는 고전적 nonparametric density estimation의 minimax rate는 n^{-2s/(2s+p)}로 잘 알려져 있으며(Stone 1984, Tsybakov 2009), Wasserstein perturbation 하의 robust estimation에 대한 최근 연구들(Zhu et al. 2022, Liu & Loh 2022)이 존재한다.
• Gap: 한 명의 PhD 학생과 한 명의 교수가 2년간 연구했음에도 p=1 경우 contamination exponent에서 upper bound(ε^{2s/(s+2)})와 lower bound(ε^{4s/(2s+1)})가 일치하지 않는 gap이 존재했고, 어느 쪽이 느슨한지조차 알 수 없었다.
• Why: 수학 연구자들이 실제 활발히 연구 중인 미해결 문제에 LLM을 통합하는 구체적이고 재현 가능한 워크플로우를 제시함으로써, AI가 수학 연구의 실질적 병목을 해소하는 데 기여할 수 있음을 실증적으로 보여준다는 점에서 중요하다.
• Approach: GPT-5 Pro의 웹 인터페이스(Extended Thinking 모드)에 문제 정의, 현재 정리 진술, 관련 증명 부분을 담은 self-contained LaTeX packet을 반복적으로 제시하고, 모델이 제안한 아이디어를 인간이 검증·수정·인용 확인하는 prompt-extract-verify-fix 루프를 사용했다.

Achievement

1. Rate gap 해소: 최종적으로 p차원, W_{q,r} contamination 하에서 M(ε,s,p,q,r) ≍ n^{-2s/(2s+p)} ∨ ε^{2s/(s+1+p/r)}라는 정확히 일치하는 minimax rate를 증명했다.
2. Upper bound 개선: optimal transport map을 따른 interpolation을 이용해 kernel density estimator의 contamination bias에 대한 더 날카로운 bound(transport-interpolation bound)를 도출했다.
3. Lower bound 개선: dynamic Benamou-Brenier construction을 이용한 Local dynamic transport bound(Lemma 1)를 통해 진폭에 민감한(amplitude-sensitive) lower-bound modulus를 구성했다.
4. 시간 절약 추정: 2년 이상 해결되지 않았던 문제를 몇 주 만에 해결하여 수개월의 연구 시간 절약을 추정했다.
5. 실패 모드 문서화: hallucinated references, 지나치게 광범위한 정리 진술, 오류 지적 후 점점 정교해지는 잘못된 수정 등 AI 활용 시의 구체적 실패 유형을 보고하고 완화 전략을 논의했다.

How

• Context packet 작성: 문제 정의, 비표준 정의, 현재 증명 시도를 담은 최소한의 LaTeX fragment를 준비
• 유용한 사실 추출: 모델 답변에서 유망한 아이디어, 논증, 참고문헌을 추출
• 참고문헌 검증: 모델이 인용한 모든 정리를 원 출처에서 수동으로 확인할 때까지 신뢰하지 않음
• 인간의 증명 검증: 모델이 주장한 결과를 꼼꼼히 읽으며 검증
• 개선 요청: 문제 발견 시 후속 프롬프트로 모델에 수정 요청 ("Can you go through this proof and see if you can improve either the upper bound or the lower bound until they match?")
• 적대적 검증(adversarial checking) 프롬프트: "Can you double-check this proof from beginning to end and identify any incorrect arguments?" 형태의 2차 프롬프트 클래스 사용
• 수정 또는 중단: 모델의 수정 증명이 점점 길어지기만 하고 핵심 오류를 해결하지 못하면 해당 스레드를 중단

Originality

• 특정 벤치마크가 아닌 실제 미해결 연구 문제(2년간 해결 못한 minimax rate gap)에 대한 실전(in-the-wild) AI 활용 사례를 상세히 기록했다는 점에서 독창적이다.
• 단순 prompt-extract-verify-fix 루프라는 최소주의적 워크플로우를 명시적으로 baseline으로 제시하며, 재현 가능한 prompt 템플릿(Appendix 포함)을 공유했다.
• Hallucinated references, 오류 지적 후 점점 정교해지는 잘못된 수정 등 구체적 실패 모드를 수학 증명 검증 맥락에서 세밀하게 분류·보고한 점이 새롭다.

Limitation & Further Study

• 단일 연구자(팀)의 단일 문제 사례 연구로, 일반화 가능성이 제한적이며 통계적으로 검증된 시간 절약 추정치가 아니라 저자의 주관적 추정이다.
• 워크플로우가 로컬 AI 에이전트가 아직 신뢰할 수 없던 시점의 제약을 반영하고 있어, 현재 시점의 최신 도구(local agent 등)로 재현 시 결과가 달라질 수 있다.
• 컨텍스트 윈도우 내 이전 오류가 후속 추론을 오염시키는 문제로 인해 새 대화를 주기적으로 시작해야 했고, 이로 인해 워크플로우 자체가 다소 파편화되어 엄밀한 재현이 어렵다는 한계가 있다.
• 후속 연구로는 다양한 수학 분야 문제들에 대한 이 워크플로우의 체계적 적용과, 실패 모드를 자동으로 탐지·완화하는 도구 개발이 필요하다.

Evaluation

총평: 엄밀한 방법론 논문이라기보다는 실제 연구 현장에서 LLM이 수학 연구의 병목을 실질적으로 해소한 사례를 투명하게 기록한 값진 보고서로, AI-인간 협업 수학 연구의 실용적 벤치마크와 경계 조건을 이해하는 데 기여한다.