Scientific CI/CD for Self-Modifying Discovery Agents: Statistical Gödel Gates, Capacity Budgets, and Domain Verifiers

Motivation

• Known: 기존 연구는 anytime-valid inference, e-value, confidence sequence, reusable holdout 기법으로 반복 검정에서 발생하는 정보 누출 문제를 다루었고, VC/SRM·PAC-Bayes·MDL 등으로 모델 복잡도를 규제했으며, conformal calibration과 PROV 기반 provenance로 도메인 유효성을 검증하는 개별 기법들이 존재한다.
• Gap: 그러나 자기진화형 과학 에이전트가 prompt, tool, memory, evaluator, 파라미터까지 스스로 수정하는 상황에서, 통계적 적응 검정 누출, 능력(capacity)·권한 확장, 도메인 유효성 위반이라는 세 가지 실패 모드를 하나의 배포 파이프라인 안에서 통합적으로 게이트하는 프레임워크와 이를 평가할 라이프사이클 지표는 존재하지 않았다.
• Why: 자기수정 에이전트는 향후 과학 연구 자동화의 핵심 방향으로 부상하고 있으나, 벤치마크 점수 상승 이면에 숨은 위해적 채택(harmful adoption)을 감지하지 못하면 재현 불가능하거나 위험한 과학적 결론이 실제 연구 파이프라인에 유입될 수 있어, 신뢰 가능한 배포를 위한 거버넌스 기준 마련이 시급하다.
• Approach: 모든 self-edit을 고위험 pull request로 취급하여 trust boundary, 통계적 e-value/confidence sequence 기반 게이트, capacity 가격 책정 게이트, 도메인별 검증기(Domain Verifier)라는 3단계 순차적 fail-closed 게이트를 통과해야만 병합을 허용하는 아키텍처를 설계하고, 이를 세 가지 실험으로 검증한다.

Achievement

Figure 3. Experiment 1. Naive optional stopping promotes many

1. Silent regression의 정식화: 시각적 점수(V)와 보호된 실제 유효성(U) 사이의 괴리를 수식으로 정의하고, evaluator overfitting·capacity drift·domain drift 세 가지 원인으로 분해했다.
2. 3-게이트 병합 계약(merge contract) 설계: Statistical Gödel Gate(e-process 기반 anytime-valid 검정), Capacity Budget Gate(capacity vector 가격 책정), Domain Verifier(conformal calibration·불변량·provenance 검증)를 구체적 수식과 알고리즘으로 명세했다.
3. 6개 라이프사이클 지표 정의: accepted-edit regret, harmful-adoption rate, evaluator-corruption gap, calibration preservation, rollback utility, cost-adjusted verified discovery를 제시해 최종 벤치마크 점수가 아닌 채택 이력 전체를 평가하도록 했다.
4. 실증 실험 결과: 200-proposal 스트림에서 naive repeated testing은 6.1%의 유해 편집을 승인했으나, spending 기반 e-Gödel gate는 이를 0.008%로 낮췄다. Capacity budgeting은 자기확장형 다항식 에이전트의 숨은 위험 과적합을 줄였고, domain verifier는 기계적·통계적 검사를 통과한 유해 생물의학 워크플로 편집을 거부했다.

How

Figure 4. Experiment 2. Penalizing capacity expansion reduces

• 문제를 정식화: A_t를 현재 에이전트, e_t를 제안된 self-edit, U(A)를 보호된 실제 유효성, V(A)를 개발 중 관찰 가능한 대리 지표로 정의하고 silent regression 조건(V 상승·U 하락)을 수식화
• Gate 1(Statistical Gödel Gate): Gaussian betting process 기반 e-process En을 구성해 H0: Δ≤0 하에서 supτ E0[Eτ]≤1을 만족시키고, 사전 등록된 spending rule에 따라 En≥1/αt일 때만 채택; empirical-Bernstein, self-normalized confidence sequence, stratified stream 등 robust 확장 포함
• Gate 2(Capacity Budget Gate): 파라미터 자유도, 검색 깊이, tool 권한, writable surface, memory, data access, autonomy를 포함한 capacity vector C(e)를 정의하고, 한계효용에서 capacity 비용을 차감한 값이 임계값을 넘고 budget envelope B_t 이내일 때만 승인
• Gate 3(Domain Verifier): conformal coverage, 물리적 보존/잔차 검사, 생물학적 대조군, PROV 스타일 lineage 등 도메인별 불변량과 근거-주장 provenance를 검증
• 세 가지 실험(순차 self-edit 스트림, capacity-expanding 모델 선택 벤치마크, dry-lab RNA-seq twin)으로 각 게이트의 효과를 실증

Originality

• 자기수정 에이전트의 편집을 "pull request"로 재정의하고 소프트웨어 CI/CD 개념을 통계적 추론·과학적 검증 도메인에 이식한 독창적 프레이밍
• 단일 통계 검정이 아니라 통계·capacity·도메인 검증을 하나의 순차적 fail-closed 파이프라인으로 통합한 아키텍처 설계
• 최종 점수가 아닌 라이프사이클 전체(채택 이력)를 평가하는 6개 신규 지표(accepted-edit regret, evaluator-corruption gap 등) 제안

Limitation & Further Study

• 실험이 synthetic verifier와 dry-lab twin에 기반해 있어 실제 다양한 과학 도메인의 복잡한 실패 모드를 완전히 포괄하지 못할 가능성이 있음
• capacity vector의 가격 책정(pricing) 방식이 다소 임의적이며, 실제 도메인별로 적절한 λ, budget envelope 설정에 대한 원칙적 방법론이 충분히 제시되지 않음
• 세 게이트 간 상호작용(예: capacity 확장이 통계적 검정력에 미치는 영향)에 대한 이론적 분석이 부족하며, 대규모 실제 배포 환경에서의 확장성과 계산 비용에 대한 검증이 필요함
• 후속 연구로 실제 LLM 기반 자기진화 에이전트에 대한 적용 사례 연구와, 게이트 간 trade-off를 정량화하는 이론적 분석이 요구됨

Evaluation

총평: 자기진화형 과학 에이전트의 배포 안전성이라는 시의적절하고 중요한 문제를 소프트웨어 CI/CD의 은유로 명확하게 구조화한 참신한 거버넌스 프레임워크이나, 실험적 검증이 synthetic·dry-lab 수준에 머물러 실제 스케일에서의 효용성 검증이 추가로 필요하다.