Recursive Epistemic Engines for Verifiable Open-Ended Scientific Agents

Motivation

• Known: 기존 연구는 LLM 기반 research agent가 아이디어 생성, 코드 작성, 실험 실행, 보고서 작성을 자동화할 수 있음을 보였고, LLM 기반 program search와 정리 증명(theorem proving) 시스템이 수학적·알고리즘적 발견에 성공한 사례가 존재한다.
• Gap: 그러나 이러한 시스템들은 검증되지 않은 코드, 형식화 오류, 데이터 누출, 공허한(vacuous) 명세, 가독성만 보상하는 평가 방식 등 구조적 문제를 가지며, 대개 미리 주어진 문법(paper 형식, benchmark API, verifier stack) 안에서만 탐색하므로 진정한 비파생적(non-derivative) 가설을 생성·실행·검증·재사용하는 능력에 한계가 있다.
• Why: 연구 자동화가 신뢰할 수 있는 과학적 진보로 이어지려면, 단순히 그럴듯한 논문을 더 많이 생성하는 것이 아니라 machine-checkable한 가설·실험·추상화의 공간을 재귀적으로 확장하는 것이 필요하며, 이는 자율 과학 에이전트의 신뢰성과 실질적 기여도를 좌우하는 핵심 문제이다.
• Approach: LLM을 typed artifact에 대한 확률적 proposal prior로만 사용하고, 수락 여부는 formal, statistical, causal, replay gate로 통제하는 template-free 아키텍처인 REEs를 제안하며, 이를 verification-gated QD, categorical abstraction layer, guarded self-evolution라는 세 메커니즘으로 구체화한다.

Achievement

Figure 4. Experiment 1. Verification-gated QD preserves diverse

1. Novelty Horizon 정식화: 생성-검증 결합 경계로서의 Novelty Horizon을 수식(식 2-4)으로 정의하여, 텍스트 참신성과 인식론적(epistemic) 참신성을 분리하였다.
2. claim package 및 intrinsic-value functional 제안: proof-carrying, experiment-carrying claim package (식 1)와 verified MDL compression, expected information gain, transfer, archive expansion을 결합한 가치 함수(식 6)를 수학적으로 정의하였다.
3. REE 아키텍처 설계: proposal prior, typed artifact DSL, verifier stack, experiment runner, QD archive, metacognitive controller의 6개 결합 모듈로 구성된 아키텍처를 제시하였다.
4. 세 가지 재현 가능한 synthetic 실험: verification-gated QD가 off-spec artifact를 배제하며 다양한 admissible archive를 확장함을 보였고, semantic-alignment gate 없는 proof checking이 다수의 vacuous/misformalized statement를 허용함을 보였으며, guarded self-modification이 Goodhart pressure 하에서 visible-score adoption보다 heldout utility와 verifier strength를 더 잘 보존함을 입증하였다.

How

Figure 1. A Recursive Epistemic Engine treats proofs, programs, experiments, and provenance as first-class artifacts. LL

• Novelty Horizon을 에이전트 상태 Πt = (Lt, Gt, At, Vt, Et, Mt, πt)와 verified reach Ht(ϵ, ρ, B)로 형식화 (식 2-3)
• claim package a = (Σ, h, s, c, Ω, p, e, r, ℓ)를 핵심 단위 객체로 정의
• 두 부분 설명 길이(two-part description length)와 ∆MDL, EIG, transfer, QD archive-cell improvement 등을 결합한 It(a) 가치 함수 정의 (식 6), 하드 admissibility gate Gt(a) 포함
• MAP-Elites 유사 QD archive에서 update rule (식 7)을 통해 proof/experiment-carrying novelty 기준으로 admission 결정 (QD-Prover loop)
• 과학적 claim을 typed morphism 기반 compositional diagram D: J → Ct로 표현하는 categorical abstraction layer 도입, Fproof, Fexec, Fdata functor로 informal object를 proof obligation 등에 매핑
• guarded self-evolution loop를 통해 verifier, descriptor, campaign policy를 sealed holdout과 evidence budget 하에서 점진적으로 개선
• 세 가지 synthetic 실험으로 각 메커니즘의 핵심 주장을 개별적으로 검증

Originality

• 기존 연구 에이전트 문헌이 다루지 않은 "생성-검증 결합 경계"라는 개념(Novelty Horizon)을 독자적으로 정식화
• proof-carrying, experiment-carrying claim package를 연구 진보의 최소 단위로 재정의하여, 기존의 "보고서/논문" 단위 평가에서 벗어난 새로운 unit of automation 제안
• quality-diversity search, MDL/algorithmic information theory, 범주론적(categorical) 추상화, guarded self-modification을 하나의 통합 아키텍처로 결합한 시도는 개별 분야에서는 존재했으나 이를 검증 가능한 과학적 발견을 위한 단일 프레임워크로 묶은 점이 참신
• Goodhart's law 문제를 self-evolving research agent 맥락에서 실증적으로 다룬 실험 설계

Limitation & Further Study

• 세 실험이 모두 synthetic 환경에서 수행되어, 실제 복잡한 과학적 도메인(예: 실제 수학 정리 증명, 실제 실험과학)에서의 확장성과 실용성이 검증되지 않음
• categorical abstraction layer의 실제 구현 세부사항과 계산 비용에 대한 구체적 논의가 부족해 보이며, 실제 코드/시스템으로서의 완성도가 불명확함
• REE 아키텍처 전체가 통합적으로 작동하는 end-to-end 실험이 아니라 개별 메커니즘을 분리하여 검증한 것이므로, 세 메커니즘 간 상호작용에서 발생할 수 있는 문제(예: verifier stack의 확장에 따른 계산 비용 폭증, categorical coherence check와 QD archive의 상호작용)는 다루어지지 않음
• 후속 연구로는 실제 도메인(수학, 생물학, 물리학 등)에서의 파일럿 배포, 대규모 LLM proposal prior와의 통합, verifier stack의 자동 확장 및 신뢰성 검증이 필요함

Evaluation

총평: 자율 과학 에이전트가 그럴듯한 서사 생성을 넘어 검증 가능한 지식을 재귀적으로 확장해야 한다는 문제의식을 명확히 정식화하고 이를 위한 포괄적 아키텍처와 수학적 틀을 제시한 의미 있는 포지션 페이퍼이나, synthetic 실험에 국한된 검증으로 인해 실제 적용 가능성에 대한 확신은 아직 부족하다.