When Should an AI Scientist Stop? Verifiable Experiment Steering and Refusal for Autonomous Discovery

Motivation

• Known: 기존 Bayesian optimal experimental design(BOED)은 실험 선택(select) 문제를 다루고, 고전적 model discrimination 기법(Box-Hill 등)은 제한적 형태의 select/resolve를 다루지만, 두 계열 모두 prior support나 후보 모델 집합 안에 참 모델이 존재한다고 가정한다.
• Gap: 기존 BOED와 model-discrimination 문헌 어디에도 "현재 모델 라이브러리 자체가 구조적으로 부적합할 때 식별을 거부(refuse)해야 한다"는 신호를 first-class output으로 제공하지 않으며, 이는 임상 약동학·소재 합성·독성학 같은 고위험 자율 발견 상황에서 중요한 공백이다.
• Why: LLM planner와 자동화 실험실이 결합된 자율 과학 발견 루프에서 병목은 더 이상 실험 후보 생성이 아니라, 어떤 실험이 실제로 유익한지, 언제 질문이 해결되었다고 선언할지, 그리고 라이브러리가 구조적으로 틀렸을 때 언제 주장을 멈춰야 하는지를 판단하는 것이므로, 검증 가능한 stop/escalate 신호는 자율 발견 시스템의 신뢰성과 안전성에 핵심적이다.
• Approach: local linear-Gaussian bridge 하에서 unresolved subspace의 Fisher-information trace(raw projection)와 exact A-optimal rule(CARTOGRAPH-A)을 유도하고, 이를 residual 기반 refusal guard(ρ)와 BIC 기반 identification gap(µ)에 결합하여 select-resolve-refuse를 하나의 순차적 알고리즘으로 통합한다.

Achievement

1. 이론적 연결: raw unresolved projection이 isotropic unresolved Fisher-information trace와 동치이고, CARTOGRAPH-A가 exact unresolved A-optimal rule임을 증명했으며, closed-form EIG와 Box-Hill 기준이 이 틀 안에서 local comparator로 도출됨을 보였다.
2. 경험적 우위: d=8 구조적 cascade 테스트베드에서 CARTOGRAPH-A가 raw projection 대비 129승/0무/15패(p<10^-21)로 유의미하게 우수했다.
3. Revocation 발견: 세 가지 out-of-library 약동학 메커니즘에 대해 초기에는 잠정적으로 식별했다가 residual이 구조적 불일치를 드러내자 식별을 철회했고, 반면 perturbed in-library control은 계속 식별 상태를 유지했다.
4. A-Lab 감사: 공개된 A-Lab 자율 소재 발견 시스템의 40개 positive claim에 대한 소급 감사에서, refuse guard가 수동 재분석에서 inconclusive로 판정된 4개 claim을 모두 정확히 flag하면서 확인된 36개 claim 중 32개를 통과시켰다.

How

• unresolved subspace Uτ를 누적 disagreement matrix Hcur의 작은 특이값에 대응하는 우특이벡터로 정의하고, 이를 select(scorecart, scoreA)와 resolve(dim(Uτ)=0) 판정에 공통으로 사용한다.
• 후보 실험 e에 대해 라이브러리 멤버 쌍의 예측 차이를 선형화한 pairwise disagreement block Dij,e를 쌓아 He를 explicit하게 구성한다.
• select 단계에서는 noise-aware unresolved information matrix Ge=U_τ^T H_e^T Σ_e^{-1} H_e U_τ의 trace(raw projection) 또는 exact A-optimal criterion(tr(Λcur)-tr((Λcur^{-1}+Ge)^{-1}))을 사용해 다음 실험을 선택한다.
• refuse 단계에서는 최적 라이브러리 멤버의 정규화된 residual ρ와 BIC 차이 µ를 계산하여, ρ가 임계값 δ를 넘으면 라이브러리 부적합을 flag하고 잠정 식별을 철회할 수 있도록 한다.
• 이 select-resolve-refuse 루프를 Algorithm 1로 통합하여 symbolic dynamical system, 구조적 cascade, 약동학 벤치마크, EPA 실데이터, A-Lab 소급 감사 등 5개 테스트베드에서 검증한다.

Originality

• select, resolve, refuse를 하나의 unresolved subspace 개념으로 통합하고, 이를 local BOED 이론(Fisher-information, A-optimality, EIG, Box-Hill)과 엄밀하게 연결한 점이 독창적이다.
• 기존 BOED/model-discrimination 문헌이 다루지 않은 "라이브러리 부적합성에 대한 refusal"을 first-class output으로 formalize하고, 잠정 식별을 이후 증거에 따라 철회(revoke)할 수 있는 메커니즘을 제시한 점이 특히 새롭다.
• symbolic access와 behavioral access를 구분하는 formal access-model 프레임과 coverage-vs-rank recovery 특성화를 제시한 점도 이론적 기여이다.
• exact random-candidate scaling law를 통해 unresolved-subspace 방법이 단순 disagreement heuristic과 언제 tie를 이루고 언제 우월한지를 예측 가능하게 만든 점이 실용적으로 독창적이다.

Limitation & Further Study

• 이론적 결과 대부분이 local linear-Gaussian bridge 가정 하에서 도출되어, 강한 비선형성이나 non-Gaussian noise가 지배적인 실제 실험 환경에서는 근사 오차가 커질 수 있다.
• refusal guard의 핵심 하이퍼파라미터(τ, δ, µmin)가 물리적으로 해석 가능하다고는 하나 여전히 수동 설정이 필요하며, 도메인이나 라이브러리 규모에 따라 민감도가 어떻게 변하는지에 대한 체계적 분석이 부족하다.
• A-Lab 감사는 소급적(retrospective)이고 40개의 제한된 claim 집합에 기반하므로, 실시간 자율 발견 루프에 배치했을 때의 일반화 가능성과 false negative/positive 비율에 대한 추가 검증이 필요하다.
• 저차원 약동학 및 filtered EPA 세팅에서 disagreement heuristic 대비 이점이 미미한 near-tie 현상이 관찰되었는데, 이는 이론에 의해 예측되긴 했으나 고차원·실제 배치 환경에서 CARTOGRAPH의 실질적 이득이 어느 정도인지에 대한 추가 실증이 필요하다.

Evaluation

총평: select-resolve-refuse를 하나의 이론적 틀로 통합하고 실제 A-Lab 소급 감사를 통해 refusal 신호의 실효성을 입증한 점에서 자율 AI 과학자의 신뢰성 있는 거버넌스 연구에 의미 있는 기여를 하지만, local linear-Gaussian 가정의 제약과 하이퍼파라미터 설정의 실용적 부담은 향후 검증이 더 필요한 부분이다.