ClaimGarden: Update-Aware Claim-State Control for AI Scientist Workflows

Motivation

• Known: AI scientist workflow는 hypothesis 생성, 분석 수행, plan 수정, manuscript 작성까지 자동화가 진행되었으며, claim-centered/provenance-centered 접근(argumentative zoning, micropublications, nanopublications, PROV-O, ORKG, SciFact)과 evidence-gated 시스템(ResearchLoop)이 존재한다.
• Gap: 기존 시스템들은 project나 manuscript 단위의 memory를 사용하기 때문에, database·literature·simulation 등 evidence가 지속적으로 변화할 때 개별 claim이 untested, outdated, silently promoted(prediction→experiment) 상태로 남아도 이를 감지하지 못하는 governance 공백이 존재한다.
• Why: 최근 연구(Ríos-García et al., 2026)에 따르면 LLM 기반 scientific agent는 68% trace에서 evidence를 무시하고 refutation 이후 belief revision은 26%에서만 발생하는 것으로 나타나, self-correction을 위한 claim 단위의 자동 통제 layer가 fully autonomous science 실현에 필수적임을 시사한다.
• Approach: Claim을 agent output에서 수집(harvest)하여 정규화된 auditable unit으로 만들고, versioned evidence에 링크한 뒤 evidence update 시 재검증(revalidation), verifier 추천, deterministic policy commit, manuscript export/후속 task gate까지 이어지는 event-sourced claim-state loop를 구축한다.

Achievement

구조생물정보학(structural bioinformatics) 분야에서 실험 구조(experimental-structure)와 예측 구조(predicted-structure) evidence 업데이트가 structural-coverage claim을 좁히고 prediction-as-experiment overclaim을 차단하는 controlled demonstration을 통해 접근법의 타당성을 보였다.

How

• Connector가 public database, papers, local analysis artifacts, automated-laboratory output을 evidence stream으로 취급
• Versioned evidence registry가 source type, version, query, entity mapping, quality field, artifact path, hash를 기록
• Impact mapper가 evidence update 이후 영향받는 claim을 식별
• Verifier는 evidence bundle, 추천 status, uncertainty, review flag를 기록하는 advice만 제공(state를 직접 변경하지 않음)
• Deterministic policy만이 committed ClaimStatusChanged event를 기록
• Claim-state loop: 새 evidence 도착 → 영향 claim 탐색 → evidence 검색 → verifier 추천 → policy commit → manuscript gate 검사 → edit 또는 next task 생성
• Table 1의 controlled structural-bioinformatics transition test(PDB-only coverage, motif conservation, prediction as experiment)로 상태 전이와 gate 동작을 시연
• N=3 smoke test(결정론적 prototype 구성 요소 + prompt-only agent-verifier packet)를 수행하여 14개 claim event, verifier output, policy commit, gate report, snapshot을 기록

Originality

• Claim을 정적 레코드가 아니라 evidence 변화, 검증 실패, database/lab update, export 시도에 의해 유도되는 state transition의 대상으로 재정의함
• Verifier(추천)와 deterministic policy(commit)를 명확히 분리하여 verifier가 state를 직접 변경할 수 없도록 하는 governance 구조를 제시
• ResearchLoop 등 기존 evidence-gated publication control plane과 차별화하여, 이미 기록된 claim이 evidence 변화 이후 어떻게 상태를 바꿔야 하는지에 초점을 맞춘 update-aware revalidation을 강조
• hypothesis, weakened, refuted, obsolete, inconclusive 상태를 모두 보존하여 negative result나 반박된 주장도 governance signal로 남기는 설계 철학

Limitation & Further Study

• 현재 prototype은 event-sourced claim log, rule-based baseline impact component, deterministic verifier 등 초기 단계 구현에 그치며, AI 기반 claim harvesting과 LLM/domain verifier는 planned extension으로 남아있음
• N=3 smoke test는 protocol trace 수준이며 powered accuracy 결과가 아니라서 통계적 유의성이나 일반화 가능성을 판단하기 어려움
• N=10 human-labeled pilot 역시 예비 단계로, 실제 대규모 실증 평가(precision/recall, verifier-policy agreement 등)는 향후 과제로 남음
• verifier reliability와 policy 설계의 실제 배포 시 human-review burden, biosafety/dual-use 상황에서의 정책적 신뢰성 검증이 추가로 필요함

Evaluation

총평: AI scientist workflow의 self-correction 문제를 claim-state 단위로 재구성한 governance framework로서 개념적 기여가 명확하고 방향성이 흥미롭지만, 현재는 workshop paper 수준의 초기 prototype과 소규모 smoke test에 그쳐 실질적 검증과 정량 평가가 추후 필요하다.