Negative Knowledge as Failure-aware Shared Memory for AutoResearch

Motivation

• Known: 기존 AutoResearch 시스템들은 문헌 검색, 가설 생성, 실험 계획/실행, 분석, 리뷰, 작성 등을 자동화하려 하며, self-debug나 verbal reflection 같은 기법으로 실패 신호를 같은 세션 내 다음 시도에 반영해왔다. 또한 safe/counterexample-guided RL에서 negative signal을 탐색 제약에 활용하는 연구도 존재한다.
• Gap: 기존 접근들은 실패를 국소적 디버깅 신호로만 취급하며 단일 학습 과정이나 단일 세션 내에서 소비하고, cross-agent·cross-task로 지속되는 연구 대상(research object)으로 보존하지 않는다. 즉 positive knowledge 재사용을 위한 memory architecture는 많지만, negative knowledge를 구조화된 공유 자산으로 명시적으로 유지·관리하는 레이어는 부재하다.
• Why: 실패한 연구 경로를 구조화해 공유하면 동일한 실패를 반복해서 비용을 지불하지 않고 탐색을 아직 탐색되지 않은 영역으로 재조준할 수 있어, AI 기반 과학 연구의 효율성과 신뢰성을 높이는 집단적 인프라가 될 수 있다는 점에서 중요하다.
• Approach: 실패한 시도의 산출물(코드, 로그, 추론 흔적)을 별도의 curator agent가 bounded, typed schema를 따르는 negative knowledge record로 변환해 project-level shared bank에 저장하고, 후속 research agent는 새 실험을 제안하기 전 이 bank의 record들을 반드시 검사하여 adopt 또는 reject 여부와 근거를 명시하도록 하는 구조를 제안한다.

Achievement

Figure 2

1. ScienceAgentBench same-task retry 성능 향상: 하나의 구조화된 negative knowledge record만으로 pass rate가 Base/Retry 대비 31.6%→36.8%로 상승했으며, 3라운드를 distill한 deep negative knowledge retry는 47.4%로 raw 3-round self-debug(44.7%)를 능가했다.
2. 토큰 효율성: negative knowledge retry는 self-debug 대비 각각 73.3%, 28.3% 적은 토큰만으로 더 나은 또는 유사한 성능을 달성해, 압축된 형태로 유용한 repair 정보를 보존함을 보였다.
3. cross-task PDE 연구에서의 우위: nonlinear math-physics PDE 문제(솔리톤, fission, bore-soliton fusion 등)에서 negative knowledge bank를 가진 에이전트가 모든 baseline이 실패하는 새로운 태스크를 해결했다.
4. negative knowledge의 전이 가능성: 한 PDE 문제에서 축적된 negative knowledge bank가 다른 PDE 문제의 AutoResearch를 향상시킬 수 있음을 보여, negative knowledge가 task-specific 디버깅 도구를 넘어 이전 가능한 지식 자산임을 시사했다.

How

Figure 3

• Curator agent: 실행이 끝난 시도의 고정된 산출물(코드, 실행 출력, 추론 노트)을 검토해 schema에 맞는 record를 작성. 실패한 에이전트 본인이 아닌 별도 에이전트가 작성하여 self-assessment bias를 줄임.
• Record schema 설계 원칙: (1) Attempt-level — 하나의 완료된 시도를 기술, (2) Bounded — prompt-level 길이·구조 제한을 따라 전체 bank를 inline으로 전달 가능, (3) Typed — failure classification 필드가 closed vocabulary 값을 가져 curator가 모호한 서술이 아닌 명시적 failure class에 커밋하도록 강제.
• Record 구성 요소: failure layer, scope, degree, recommended action, risk 등 bounded field 포함.
• Research agent의 grounding 절차: 새 실험 제안 전 bank의 관련 record를 조사하고 각 record를 adopt 또는 reject로 표시하며 특정 failure mode와 연결된 justification을 제공하도록 요구.
• 평가 설계: ScienceAgentBench의 deterministic-evaluation subset에서 Base, Retry, Self-debug, Negative knowledge retry, Deep negative knowledge retry 5개 조건을 Claude Sonnet 4.6으로 비교(pass rate, memory token 측정). 별도로 두 개의 nonlinear PDE 문제(soliton fission, bore-soliton fusion 등)에서 cross-task AutoResearch 및 bank 전이 실험 수행.

Originality

• 실패를 일시적 디버깅 신호가 아닌 지속적이고 typed된 cross-agent, cross-task research object로 formalize한 점이 기존 self-debug/verbal reflection 연구와 차별화됨.
• positive knowledge 축적에 집중해온 기존 agent-memory architecture(skill, episodic memory, long-term context)와 달리 실패 전용 memory layer를 architecture-agnostic하게 설계.
• curator agent와 research agent 역할을 분리해 self-assessment bias를 줄이고, multi-agent 시스템에서 negative knowledge 생성이라는 낮은 보상의 역할을 별도 에이전트에 할당하는 game-theoretic 관점의 시스템 설계를 제시.
• 실패 지식을 개별 프로젝트의 부산물이 아니라 과학 커뮤니티 수준의 collective epistemic infrastructure로 확장하는 비전을 제시.

Limitation & Further Study

• 평가가 하나의 scientific-coding benchmark(ScienceAgentBench)와 두 개의 PDE case study에 국한되어 있어, 다양한 연구 도메인·태스크 유형에 대한 일반화 가능성이 제한적임.
• 단일 LLM(Claude Sonnet 4.6)만을 사용해 평가했으며, 다른 backbone 모델이나 다른 curator/research agent 조합에서도 결과가 재현되는지 확인이 필요함.
• typed schema의 closed vocabulary 설계가 다양한 실패 유형을 충분히 포괄하는지, schema가 지나치게 단순화되어 중요한 뉘앙스를 놓칠 가능성에 대한 분석이 부족함.
• bank가 커질 때의 확장성(수백~수천 개 record에 대한 검색·필터링 전략)과 인간 개입(human audit)의 실제 운영 비용에 대한 정량적 분석이 부재함.
• 후속 연구로 다양한 도메인, 다중 에이전트 협업 규모, 그리고 negative knowledge와 positive knowledge를 통합 관리하는 메커니즘에 대한 확장 연구가 필요함.

Evaluation

총평: 실패를 구조화된 공유 자산으로 전환한다는 아이디어는 AutoResearch 커뮤니티에 신선하고 중요한 시각을 제공하며, ScienceAgentBench와 PDE case study에서 명확한 효율성·성능 이득을 보여준 것은 고무적이나, 평가 범위가 좁아 workshop-level pilot study로서의 위상에 부합한다.