MADS-CPS: A Machine-Checkable Admissibility Contract for AI Scientists in Autonomous Laboratories

Motivation

• Known: 기존 연구는 AI scientist의 아이디어 생성, 도구 사용, 자율 실험 수행 능력을 측정하는 벤치마크(LAB-Bench, HeurekaBench 등)와 AI 위험관리 프레임워크(NIST AI RMF), assurance-case 구조 등을 발전시켜 왔다.
• Gap: 이러한 연구들은 시스템이 무엇을 할 수 있는지(capability)에 초점을 맞추거나 조직 수준의 거버넌스 프로세스를 다루지만, 한 번의 구체적 autonomous-lab run이 감사·재현·release 승인을 위해 충분한 기계 검증 가능 증거를 노출하는지에 대한 기준은 존재하지 않는다.
• Why: AI scientist가 planning, tool invocation, sensing, coordination, irreversible decision을 결합한 closed-loop 물리적 행동에 근접함에 따라, 능력이 뛰어난 planner라도 검사·재현이 어렵거나 release 위험이 있는 run을 생성할 수 있어, 이를 걸러낼 controller-agnostic한 신뢰 기반(trust substrate)이 필요하기 때문이다.
• Approach: MADS-CPS는 declared assurance envelope, 요구 artifact 및 replay 상태에 대한 conformance checker, 제한된 감사(auditability)를 위한 verification mode, fail-closed PONR release gating을 명시하는 run-level admissibility contract를 정의하고, robot-centric autonomous-laboratory reference implementation으로 이를 구체화한다.

Achievement

Figure 1. MADS-CPS evaluates each run relative to a declared assurance envelope and emitted artifact family. Admissibili

1. run-level admissibility contract 정의: declared envelope, required artifact(구조화된 실행 trace, 평가 보고서, evidence bundle, release manifest), admissibility predicate, conformance tier, verification mode, PONR release semantics로 구성된 계약을 최초로 명세.
2. controller-agnostic conformance 공식화: assurance layer에서 checker가 controller 내부 로직이 아니라 방출된 evidence만을 대상으로 동작하도록 형식화.
3. restricted-auditability 모델 제시: payload 내용이 redaction 되었을 때 어떤 predicate가 손실되는지 명시하면서도 구조적 무결성(structural integrity)을 보존.
4. 재현 가능한 reference instantiation과 4종 평가: eight-case conformance challenge corpus, verification-mode admissibility matrix, independent replay-link experiment, controller-matrix study(baseline vs stressed regime)를 통해 checker가 모든 injected evidence-fault label과 일치하고, independent replay가 producer report와 일치하며, coordination stress 하에서 evidence-layer admissibility는 안정적으로 유지되는 반면 operational productivity는 divergence를 보임을 입증.

How

Figure 1. MADS-CPS evaluates each run relative to a declared assurance envelope and emitted artifact family. Admissibili

• 네 가지 artifact class(구조화된 실행 trace, 평가 보고서, evidence bundle, release manifest)를 각 run마다 방출하도록 workflow scope를 설정
• presence, schema validity, replay status, integrity, PONR coverage에 대한 machine-checkable predicate로 conformance checker 구성
• PONR action(예: sample disposition 확정, 다음 물리적 워크플로 단계로의 전달, 실험 결론의 내부/공개 release 승인)과 이에 결부된 PONR obligation(pre-release evidence condition)을 구분
• robot-centric autonomous-laboratory를 reference organism으로 채택하여 coordination, tool use, irreversible decision을 포함하되 reproducible run-level 평가가 가능하도록 설계
• eight-case conformance challenge corpus, verification-mode admissibility matrix, independent replay-link experiment, controller-matrix study(baseline/stressed)를 통해 evaluation 수행

Originality

• capability 측정 위주였던 기존 AI scientist 벤치마크(LAB-Bench, HeurekaBench)와 달리, "이 run이 admissible한가"라는 직교적(orthogonal) 질문을 처음으로 formalize
• controller 내부(planner identity, 알고리즘 종류)를 신뢰 기반(trusted base)에서 배제하고 오직 emitted evidence만을 검증 대상으로 삼는 separation of capability from admissibility 원칙을 제시
• assurance-case, 데이터 무결성 표준, AI 위험관리 프레임워크의 전통을 계승하되, 이를 controller-agnostic하고 machine-checkable한 run-level 단위로 좁혀 구체화
• PONR(point-of-no-return)이라는 비가역적 전이 개념을 evidence obligation과 명시적으로 분리하여 정의

Limitation & Further Study

• 논문 스스로도 인정하듯 certification, 규제 준수, bit-identical hardware replay, planner prescription, universal payload disclosure 등은 범위 밖(out of scope)이며, 이는 실제 배포 상황에서 요구되는 안전성 보증의 상당 부분을 다루지 않음
• 발췌된 본문 기준으로 실제 검증은 proof-of-structure 수준(8개 conformance case, 단일 reference implementation)에 그쳐, 다양한 실험실 환경·controller 계열·실제 물리적 사고 시나리오에 대한 일반화 가능성이 아직 검증되지 않음
• 후속 연구로는 다양한 domain(화학 외 생물학, 재료과학 등)의 autonomous lab에 대한 cross-domain 검증, 실제 산업/규제 기관과의 연계를 통한 외부 타당성 확보, restricted-auditability에서 손실되는 predicate의 정량적 영향 분석이 필요해 보임

Evaluation

총평: AI scientist의 물리적 실행이 늘어나는 시점에 capability와 admissibility를 명확히 분리하는 run-level evidence contract를 제시한 시의적절하고 개념적으로 탄탄한 연구이나, 제공된 발췌만으로는 실험적 검증의 규모와 실제 실험실 적용 가능성에 대한 확신을 얻기는 제한적이다.