ReasFlow: Assisting Reasoning-Centric Scientific Discovery in Applied Mathematics via a Knowledge-Based Multi-Agent System

Motivation

• Known: 기존 자율 연구 시스템(AI Scientist, CycleResearcher, DeepScientist 등)은 벤치마크·실험 검증에 기반한 경험적 연구 영역에 집중해 왔으며, AlphaGeometry, AlphaProof, FunSearch, AlphaEvolve 같은 수학 추론 시스템은 사전에 명확히 정의된 문제(경쟁 수학, 정형화된 명제 등)를 다룬다.
• Gap: 엄밀한 증명과 깊은 도메인 지식을 요구하는 이론 중심(theory-driven) 연구, 특히 응용수학의 open-ended 이론 탐구는 자동화되지 못했으며, 자연어 증명을 대규모로 검증하기 어렵고 LLM이 세부 분야별 증명 기법·경험적 휴리스틱을 갖추지 못해 지속적인 전문가 개입에 의존한다는 문제가 남아있다.
• Why: 이론 중심 과학적 발견을 자동화할 수 있다면 응용수학·최적화 등 증명 기반 연구에서 전문가 개입을 크게 줄이고 연구 생산성을 높일 수 있으며, LLM 기반 자율 연구 시스템의 적용 범위를 경험적 영역에서 이론적 영역으로 확장하는 중요한 전환점이 된다.
• Approach: 내부 검증 루프(internal verification loop)로 논리적 도출을 감사하고, 자동화된 지식 검색 및 자기개선 메커니즘으로 선언적 사실과 간과된 휴리스틱을 능동적으로 제공하는 지식 기반 멀티에이전트 시스템 ReasFlow를 제안한다.

Achievement

Figure 1. Radar chart comparing ReasFlow with baseline work-

1. ReasFlow 시스템 구축: MetaAgent가 SurveyAgent, AlgorithmAgent, ProverAgent, ExperimentAgent, IntroductionAgent, WritingAgent를 조율하여 문헌조사부터 논문 작성까지 전체 파이프라인을 자동화하는 시스템을 구현했다.
2. 지식 카드 기반 도메인 보강: 증명 기법과 절차적 휴리스틱(예: 확률적 독립성 처리)을 명시적으로 담은 knowledge card 저장소를 구축하고 자기개선 루프로 확장했다.
3. 다섯 개의 완전한 신규 연구 산출: distributed optimization 분야에서 최소한의 human prompt만으로 수렴 보장이 있는 새로운 알고리즘 5개를 담은 완전한 논문을 생성했다.
4. 최고 수준의 이론 지향 품질 달성: ChatGPT(GPT-5.3), ChatGPT Pro(GPT-5.4-Pro), Gemini-3.1-Pro, Claude Pro(Claude Opus 4.6), CycleResearcher-ML-12B, DeepScientist(GPT-5.4), AI Scientist-v2(GPT-5.4), ARIS(GPT-5.4) 등 오픈소스 SOTA 베이스라인 대비 Math Rigor, Theory-Exp Consist 등 9개 평가 축(A–I)에서 우수한 성능을 LLM 기반 리뷰로 입증했다.

How

Figure 3. Example knowledge card extracted by refined skill

• MetaAgent가 사용자와 상호작용하여 연구 주제를 정의하고 구조화된 계획을 수립한 뒤 하위 에이전트를 순차 호출
• SurveyAgent: 문헌조사 수행 및 Related Work 초안 작성 (arXiv 논문 다운로드 도구 포함)
• AlgorithmAgent: 후보 알고리즘의 pseudocode 및 Python 구현 생성
• ProverAgent: 수렴 정리와 전체 증명 수립, 증명 생성/검증을 위한 clean-context sub-agent 활용
• ExperimentAgent: 수치 실험 설계 및 실행
• IntroductionAgent, WritingAgent: 서론 작성 및 전체 원고 조립
• 각 에이전트는 공유 워크스페이스(ReadFile, WriteFile, EditFile, RunTerminalCmd)에서 동작하며 skills(사전정의 프롬프트)와 격리된 메모리를 가진 sub-agents로 보강됨
• 내부 검증 루프가 논리적 일관성, 대수적 정합성, 부등식 완화(inequality relaxation)의 타당성을 자체 감사
• 자기개선 루프가 에이전트의 실제 end-to-end 성능을 기준으로 지식 추출·검색 방식을 최적화하여 knowledge card 저장소를 지속 개선
• Human-in-the-loop 모드로 전문가가 임의 단계에서 개입 가능

Originality

• 경험적 연구에 집중된 기존 자율 연구 에이전트와 달리, 엄밀한 증명과 이론적 기여가 요구되는 open-ended 응용수학 연구를 목표로 한 최초의 시도 중 하나
• 자체 검증 루프와 지식 검색·자기개선을 결합해 전문가 개입을 대체하는 구조적 설계
• 선언적 사실뿐 아니라 간과되기 쉬운 절차적 휴리스틱(예: 확률적 독립성 오용 문제)까지 명시적으로 포착하는 knowledge card 체계
• 문헌조사부터 논문 작성까지 이론 중심 연구 파이프라인 전체를 하나의 시스템으로 통합

Limitation & Further Study

• 평가가 LLM 기반 리뷰에 의존하고 있어 실제 전문가 심사와의 정합성, 평가의 공정성/견고성에 대한 추가 검증이 필요함
• 다섯 개의 연구 태스크 모두 distributed optimization이라는 좁은 하위 분야에 국한되어 일반화 가능성이 제한적
• knowledge card 저장소의 커버리지와 확장성, 새로운 수학 하위 분야로의 이식성에 대한 논의가 부족
• 완전 자동 생성된 이론적 결과의 실제 정확성(증명의 최종 엄밀성)에 대한 정형 검증(formal verification, 예: Lean)과의 결합 여부가 불명확하여 향후 formal proof assistant와의 통합 연구가 필요함
• human-in-the-loop 개입 정도와 실제 전문가 노력 절감 효과에 대한 정량적 분석이 제한적

Evaluation

총평: 이론 중심 과학적 발견 자동화라는 미개척 영역을 다루는 시의적절하고 독창적인 시도로, 응용수학 연구 파이프라인 전체를 통합한 실용적 시스템을 제시했으나 LLM 기반 평가에 의존한 검증의 엄밀성과 일반화 가능성에 대한 추가 검토가 필요하다.