DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research

Motivation

• Known: 기존 open deep research agent들은 training-free 방식으로 프롬프트만 설계하거나, RLVR(reinforcement learning with verifiable rewards)을 이용해 검증 가능한 short-form QA에 대해서만 학습되는 경우가 대부분이었다. Rubric을 evaluation criteria로 사용하는 접근도 존재하지만 대체로 human expert가 rubric을 작성·정제하거나 reference answer의 존재를 가정한다.
• Gap: Long-form, open-ended deep research task는 답변의 desiderata가 under-specified하여 고정된 rubric으로는 품질을 충분히 포착하기 어렵고, 정확한 평가를 위해서는 모델의 parametric knowledge를 넘어서는 방대하고 최신의 external knowledge가 필요하다. 그러나 static하게 closed-book으로 생성된 LM 기반 rubric은 근거 누락, 미세한 오류, reward hacking에 취약하다는 문제가 있다.
• Why: 신뢰할 수 있는 reward 신호는 long-form deep research task에 대한 RL 학습의 핵심 병목이며, 이를 해결하면 open-source 모델도 proprietary deep research agent 수준의 성능을 훨씬 낮은 비용으로 달성할 수 있어 deep research 연구의 접근성과 재현성을 크게 높일 수 있다.
• Approach: Rubric을 policy model의 rollout(search trace 및 응답)과 함께 지속적으로 갱신하여 co-evolve시키는 RLER을 제안하고, 이를 이용해 SFT 이후 RL로 학습된 fully open 모델 DR Tulu-8B를 개발한다.

Achievement

Figure 1. Performance vs. cost of deep research models. We

1. DR Tulu-8B 개발: 고품질 natural user data로 SFT 후 RLER로 학습된 최초의 fully open, end-to-end long-form deep research 모델을 제시했다.
2. 성능 우위: AstaBench-ScholarQA-CS2, DeepResearchBench, ResearchQA, HealthBench 등 4개 long-form DR 벤치마크에서 Tongyi DR 30B 등 기존 최강 open 8-32B 모델 대비 4.8-41.8%p 앞섰고, 평균적으로 Tongyi DR 대비 15.6% 우수했다.
3. Proprietary 모델과 대등: OpenAI DR, Perplexity DR, Gemini3 Pro + Search 등 proprietary 시스템과 맞먹거나 능가했으며(OpenAI DR 대비 평균 0.7% 우위), 쿼리당 비용은 OpenAI DR 대비 약 1000배 저렴했다.
4. 새 벤치마크 구축: 유전 변이의 치료 적합성을 평가하는 clinical deep research 데이터셋 GeneticDiseasesQA를 구축했고, 이 과제에서 DR Tulu-8B가 신뢰 가능한 인용을 생성하지 못하는 다른 open agent와 달리 proprietary DR agent와 경쟁력을 보였다.
5. 도구 선택 능력 학습: 단일 hard-coded search tool에 의존하지 않고 과제별로 적절한 검색 도구를 선택하는 능력을 학습했다(SQAv2에서는 paper search 90%, DeepResearchBench에서는 web search/browsing 55%).
6. 오픈 인프라 공개: 데이터, 코드, 모델과 함께 확장 가능한 deep research 라이브러리(dr-agent-lib) 및 plug-and-play multi-tool search 평가 스위트를 공개하여 비동기 tool call과 장기 horizon tool-use trajectory에 대한 scalable RL 학습 스택을 제공했다.

How

Figure 2. Training with RLER. Given an instance, the policy LM πθt samples rollouts by interacting with the environment.

• 문제를 { think, tool, answer, cite } 액션 공간을 가진 LM으로 정식화하고, sample-wise rubric (rx,k, wx,k)의 가중합으로 응답 품질을 평가하는 rubric-based score S(x,y)를 정의
• 학습 전, 각 prompt x에 대해 SEARCH(x)로 관련 문서를 검색하고 이를 rubric generator LM(Grubric)에 입력하여 학습 내내 유지되는 persistent rubric 집합 Rpersist_x를 초기화
• 학습 중 매 step마다 policy model πθt로부터 G개의 rollout(응답+검색 트레이스)을 샘플링하고, 이 응답들과 기존 rubric pool을 Grubric에 함께 입력하여 새로운 evolving rubric Rnew_x를 생성, rollout-score variance가 높은 항목을 유지하도록 고정 크기 rubric buffer를 pruning/업데이트
• 두 가지 privileged information(다중 search rollout에서 얻은 external knowledge, 다중 독립 샘플링된 모델 응답 간의 contrastive 신호)을 활용해 generation-verification gap을 만들어 rubric 품질을 향상
• rubric 기반 reward 외에 format reward와 citation reward를 보조적으로 추가하여 RL 최적화
• SFT를 위해 고품질 natural user data mixture를 구성하고 이후 RLER로 RL 학습을 진행

Originality

• 기존의 static하거나 human-curated rubric과 달리, 학습 중 policy model의 rollout(search trace, 응답)을 이용해 rubric을 실시간으로 갱신·pruning하는 co-evolving rubric buffer 메커니즘(RLER)을 제안
• search를 통한 external knowledge와 contrastive한 다중 모델 응답이라는 두 가지 privileged information을 결합하여 rubric generator와 policy 간 generation-verification gap을 명시적으로 설계
• short-form 검증 가능 QA에 국한되던 RLVR 패러다임을 open-ended long-form deep research task로 확장한 최초의 fully open end-to-end 학습 사례
• 유전 변이 치료 적합성 평가라는 새로운 clinical deep research 벤치마크(GeneticDiseasesQA) 제안
• 학습, 데이터, 인프라(비동기 tool call, scalable RL) 전체를 공개하여 deep research 학습의 재현성 장벽을 낮춤

Limitation & Further Study

• rubric을 생성하고 평가하는 데 judge LM 및 rubric generator LM에 의존하므로, 이들 모델 자체의 편향이나 오류가 완전히 제거되지는 않을 수 있음
• rubric buffer 관리(추가/pruning) 및 search 기반 초기화 과정이 추가적인 계산 비용과 복잡성을 수반하며, 이에 대한 scalability 한계나 비용 분석이 충분히 제시되지 않을 가능성
• 8B 규모 단일 모델에 대한 검증으로, 더 큰 모델 규모나 다른 아키텍처로의 일반화 가능성은 추가 검증이 필요
• 4개 벤치마크와 신규 GeneticDiseasesQA에 한정된 평가로, 더 폭넓은 도메인이나 다국어 상황에서의 일반화는 추후 연구 과제로 남음
• 논문 발췌본에서는 RLER의 reward hacking 방지 메커니즘에 대한 정량적 검증(예: pruning 기준의 안정성)이 충분히 상세하게 제시되지 않아 후속 분석이 필요

Evaluation

총평: Rubric을 policy와 함께 co-evolve시키는 RLER은 long-form deep research를 위한 RL 보상 설계에 실질적이고 참신한 해법을 제시하며, 완전 공개된 모델·데이터·인프라와 함께 성능-비용 면에서 인상적인 결과를 보여준 매우 의미 있는 연구이다.