Mobus: Data Infrastructure for Researchers and Autonomous Scientific Agents

Motivation

• Known: Datasheets, data statements, FAIR principles 등은 데이터와 함께 다녀야 할 메타데이터를 정의하지만, 실제로는 license 누락률이 70% 이상, license 오류율이 50% 이상으로 문서화 표준이 실제로는 잘 지켜지지 않는다는 감사 결과가 존재한다. RAG, GPT-Researcher, 폐쇄형 deep-research 제품들은 검색과 합성은 수행하지만 source별 license 상태를 보고하지 않는다.
• Gap: 기존 agentic 시스템들은 license, provenance, schema 메타데이터를 acquisition 시점이 아닌 사후적으로 재구성하거나 아예 보고하지 않으며, GAIA·BrowseComp 같은 벤치마크도 answer-finding만 평가할 뿐 license·provenance·schema fidelity를 평가하지 않는다.
• Why: 자율 연구 에이전트가 생성한 분석 결과가 다른 과학자에 의해 감사(audit)되고 재현 가능하려면, 어떤 데이터가 어떤 라이선스 하에 어떻게 변환되었는지 추적 가능해야 하는데, 이를 보장하는 인프라가 부재하면 downstream 사용이 사실상 방어 불가능(indefensible)해지기 때문이다.
• Approach: Mobus는 multi-source substrate, rubric 기반 discovery-and-refinement loop, lineage-aware manipulation layer라는 세 요소로 구성되어, source·license·schema 무결성을 기계적으로 검증되는(machine-checked) 불변식(invariant)으로 자율 획득 루프 내부에 강제한다.

Achievement

1. 높은 task completion: 8개 과학 분야에 걸친 104개 질문 벤치마크에서 Mobus는 95% task completion을 달성해, 가장 강력한 agentic baseline인 GPT-Researcher의 62%를 크게 상회했다.
2. license false-clean rate 대폭 감소: retrieval 기반 baseline들의 41~58%였던 license false-clean rate(LFCR)를 Mobus는 4%까지 낮췄으며, 이는 acquisition 시점에 license 메타데이터를 직접 검증하는 아키텍처 덕분이다.
3. 높은 citation integrity: judge 평가 기준 0.99의 citation integrity를 기록했다.
4. manipulation toolkit 검증: schema reconciliation, unit harmonization, key-matched join 등 3개 manipulation tool에 대한 60개 unit test를 모두 통과했고, 11개의 adversarial out-of-distribution 입력에서도 조용히 강제 변환(coerce)하지 않고 실패를 명시적으로 알렸다(fail loudly).
5. discovery-only Mobus로 substrate 기여도 분리: substrate만 있는 discovery-only 버전이 이미 모든 retrieval 기반 baseline보다 license safety에서 우수해, safety 향상의 대부분이 substrate 자체에서 나옴을 보였고, loop와 manipulation layer는 task completion과 analysis-ready assembly에 기여함을 확인했다.

How

• Substrate: 25개 공개 과학 데이터 소스(ML 저장소, 과학 아카이브, preprint/citation graph, open-data portal, 규제 파일링 등)에 걸쳐 Model Context Protocol을 통해 15개 tool을 노출하고, 각 레코드에 source provenance, license status, attribution metadata를 부착.
• Loop: 연구 질문에 대해 구조화된 data hypothesis를 작성하고 후보를 병렬 검색한 뒤, coverage, license cleanliness, source diversity, schema match, sample adequacy, freshness, lineage completeness 등 다차원 sufficiency rubric으로 점수화. rubric 미달 시 broaden, narrow, swap source class, re-rank, decompose, escalate 등 bounded refinement vocabulary 중 선택해 재획득.
• Manipulation: schema reconciliation, unit harmonization, key-matched join 세 가지 tool이 typed input을 받아 transformation manifest(input cell, operation, parameter, source pointer)를 작성하며, out-of-distribution 입력에는 조용히 coerce하지 않고 명시적으로 거부.
• 평가 방법: GPT-5.5를 LLM-as-judge로 사용해 completion, citation integrity, license labeling을 verbatim rubric으로 채점하고, 저자들이 100개 (human, judge) 쌍을 hand-rating하여 Cohen's κ=0.715의 substantial agreement를 확인. license label은 400개 목표의 pre-specified stratified sample을 대상으로 상류에서 hand-verification.

Originality

• 개별 요소(datasheets, FAIR 원칙, license 감사, RAG 등)는 새롭지 않으나, 이를 자율 획득 루프 내부에서 기계적으로 강제되는 load-bearing invariant로 만들어 acquisition 시점에 실시간으로 검증한다는 enforcement point 자체가 기여점이다.
• license·provenance·schema fidelity를 평가하는 최초의 agent 벤치마크를 자체 구축했다는 점에서 평가 방법론적 독창성이 있다.
• fail-loud(조용히 강제 변환하지 않고 명시적으로 실패) 설계 철학을 manipulation layer에 구현해 신뢰 가능한 lineage를 보장한다.

Limitation & Further Study

• 벤치마크가 저자 자체 구축이며, oracle source set과 hand-verified license ground truth 역시 저자들이 설정해 편향(bias) 가능성이 존재한다.
• 표본 크기가 작다(104개 질문, 100개 paired human-judge rating, 370개 검증된 license record, 일부 슬라이스는 n=20).
• Spot-check가 독립적인 도메인 전문가가 아닌 저자 자신에 의해 blinded label 하에 수행되었고, judge도 단일 LLM에 불과해 평가의 독립성이 제한적이다.
• manipulation layer가 3개 tool, 6개 manipulation 질문, 60개 test suite로 범위가 좁아 distribution shift에 대한 강건성이 아니라 known case에서의 fail-loud 동작만 확인되었다.
• closed-product에 대한 감사와 backbone-scale ablation은 향후 과제로 남아있으며, Mobus는 완전한 AI Scientist가 아니라 데이터 획득·검증·분석 준비 계층에 한정된다.

Evaluation

총평: 자율 과학 연구 에이전트의 신뢰성과 감사 가능성이라는 중요하지만 간과되기 쉬운 문제를 정면으로 다루며, license·provenance·schema 무결성을 acquisition 시점에 강제하는 실용적 인프라를 제시하고 이를 뒷받침하는 자체 벤치마크로 명확한 정량적 개선을 보였다는 점에서 의미 있는 workshop 논문이다.