An AI Scientist that Doesn't Drift: Taste, Structure, and Falsifiable Findings in a Quadruped Navigation Research Loop

Motivation

• Known: autoresearch 패러다임(Karpathy, 2026)이나 The AI Scientist, Co-Scientist, Voyager 등 LLM 기반 자율 연구 에이전트는 실험 제안·코드 수정·평가·보고를 자동화할 수 있으며, 사족보행 내비게이션에서는 hierarchical control(고정된 locomotion policy 위에 학습된 navigation policy) 구조와 privileged imitation learning, offline RL(IQL), online RL(PPO) 등 여러 패러다임이 존재한다는 것이 알려져 있다.
• Gap: 기존 autoresearch 루프는 metric이 개선되는 방향으로만 코드를 유지하는 tight loop 구조상 현재 최고 설정의 국소적 refinement로 drift하는 경향이 있으며, 다음에 무엇을 실행할지·어떤 방향을 포기할지와 같은 연구 방향에 대한 주관적 판단(taste)을 최적화 지표만으로는 도출할 수 없다는 구조적 공백이 존재한다.
• Why: 연구 방향을 결정하는 주관적 판단(taste)과 실험의 구조적 정직성(가설이 반증되었을 때 이를 은폐하지 않는 것)을 분리해 각각을 전담 컴포넌트에 위임함으로써, 대규모 자율 실험이 leaderboard 등반이 아니라 실제 가설 검증 연구처럼 작동하게 만드는 일반적 설계 원칙을 제시한다는 점에서 중요하다.
• Approach: 각 iteration의 예측과 결과를 고정 스키마로 짝지어 불변 기록으로 남기는 immutable experiment card, 기계적 역할만 수행하는 specialised subagent들, 그리고 연구자의 taste를 typed knowledge graph로 보유하며 유일하게 주관적 판단을 내리는 preference oracle kkanbu라는 세 요소를 autoresearch 루프에 추가하고, kkanbu 유무만 다른 동일한 루프를 11개 research stream에 걸쳐 두 번 실행해 오라클의 효과를 분리한다.

Achievement

Figure 1. Per-paradigm anchor profiles under obstacle-density shift.

1. Drift 제거 확인: kkanbu 유무와 무관하게 두 arm 모두 자신의 가설 중 약 3/4를 스스로 반증(falsify)하여, 구조적 장치만으로도 국소 refinement로의 drift가 방지됨을 보였다.
2. 성능과 방향의 분리: 최고 성능의 학습된 정책은 오히려 오라클 없는 arm에서 나왔으나, kkanbu가 있는 arm만이 test-time adaptation을 탐색했고 얼어붙은 가중치(frozen weights) 기준 최고 절대 성능을 냈다.
3. 오라클의 실질적 기여 규명: kkanbu는 점수 프리미엄 없이도 탐색 폭(사용자의 탐색 축 커버리지), 특정 우승 설계의 저작권(authorship), stream 간 교훈 전이(cross-stream memory)라는 세 가지 측면에서 측정 가능한 차이를 만들었으며, 다른 arm은 이러한 교훈을 반복적으로 재발견해야 했다.
4. 메커니즘 수준의 발견: 두 arm이 공동으로 노출한 representation boundary와 오라클 arm이 발명한 배포 가능한 test-time filter 등 구체적 연구 성과를 제시했다.

How

Figure 1. Per-paradigm anchor profiles under obstacle-density shift.

• Unitree Go1을 MuJoCo/MJX 시뮬레이터에서 30m 정사각형 방에 Poisson point process로 생성된 원통형 장애물과 함께 배치하고, frozen locomotion policy 위에 학습 가능한 navigation policy(velocity command 출력)를 얹는 hierarchical control 구조를 사용
• PIL Control(A* + Pure Pursuit 전문가 모방), PIL Trajectory, offline RL(IQL), online RL(PPO, pure/privileged-critic variant) 등 다섯 paradigm stream을 forest-navigation benchmark에서 비교
• 장애물 밀도 δ를 6단계로 바꾸며 OOD generalisation을 측정하고, 밀도별 success rate에 가중치를 부여한 composite score Scomp를 정의
• 동일한 AI Scientist 루프를 kkanbu 있음/없음의 두 arm으로 11개 research stream에 걸쳐 실행하는 controlled ablation을 설계
• 각 실험 iteration마다 사전 예측과 사후 결과를 고정 스키마로 기록하는 immutable experiment card, 계획·구현·디버깅·평가·분석을 담당하는 specialised subagent, 그리고 오직 kkanbu만 주관적 판단(연구 방향 결정)을 내리는 워크플로우를 구성

Originality

• 기존 AI Scientist 계열 연구들이 주로 실행(제안·실험·코드 수정) 자동화에 집중한 반면, 본 연구는 "구조적 정직성"과 "연구 방향(취향)"을 아키텍처 수준에서 명시적으로 분리한 점이 독창적이다
• 사용자의 연구 취향을 typed knowledge graph 형태의 querable oracle(kkanbu)로 외재화하여, 유일하게 주관적 판단을 허용하는 컴포넌트로 국한시킨 설계가 새롭다
• 동일 루프를 oracle 유무로 두 번 실행하는 controlled two-arm ablation을 11개 research stream 규모로 수행하여 오라클의 기여를 (점수가 아닌) 방향·저작권·기억 전이의 관점에서 정량화한 방법론적 시도가 신선하다

Limitation & Further Study

• 실험이 전적으로 시뮬레이션(MuJoCo/MJX)에서 이루어져 sim-to-real 격차에 대한 검증이 없으며, 저자들도 sim-to-real claim을 하지 않는다고 명시
• 두 arm 비교가 단일 연구자(kkanbu에 반영된 한 명의 taste)에 기반하므로, 다른 연구자의 취향이나 다양한 taste profile에 대한 일반화 가능성이 불확실
• 최고 성능 정책이 오라클 없는 arm에서 나왔다는 결과는 kkanbu의 실질적 가치가 "성능 향상"이 아니라 "탐색 방향의 질"에 있다는 주장으로 해석되지만, 이 방향성의 장기적 가치(예: test-time adaptation 탐색이 실제로 더 나은 하위 발견으로 이어지는지)에 대한 추가 검증이 필요
• 11개 research stream이라는 규모가 통계적으로 견고한 결론을 내리기에 충분한지에 대한 논의(반복성, 분산, seed 민감도 등)가 발췌문에서는 부족해 보임

Evaluation

총평: Autonomous AI Scientist 루프의 고질적인 drift 문제를 구조(structure)와 취향(taste)의 분리라는 명확한 개념적 틀로 접근하고 이를 통제된 ablation으로 실증한 흥미로운 연구이나, 시뮬레이션 한정 검증과 단일 taste profile에 의존한다는 한계로 인해 일반화 가능성에는 추가 검증이 필요하다.