V1: Unifying Generation and Self-Verification for Parallel Reasoners

Motivation

• Known: 병렬 추론(parallel reasoning)에서 다수의 chain-of-thought를 샘플링한 뒤 majority voting이나 self-aggregation(RSA 등)으로 최종 답을 선택하는 test-time scaling 기법이 효과적임이 알려져 있으며, RL을 통한 generation 능력 향상에도 RLVR 등이 널리 쓰인다.
• Gap: 기존 pointwise self-verification(llm-as-a-judge)은 비교 기준 없는 절대 점수 부여로 인해 calibration collapse가 발생하고, self-aggregation 방식은 반복 aggregation 과정에서 정답인 outlier 해답을 버려 Pass@N이 단조 감소하는 diversity collapse 문제가 있다. 또한 기존 generation-verification co-training은 pointwise reward나 offline data에 의존해 verifier가 generator의 변화하는 분포에 적응하지 못한다.
• Why: 정확한 self-verification 없이는 parallel sampling으로 얻은 다양한 후보 해답 중 정답을 신뢰성 있게 골라낼 수 없어 test-time scaling의 효과가 제한되므로, verification 능력 개선은 검증 가능/불가능 도메인 모두에서 test-time compute 활용의 핵심 병목을 해소하는 중요한 문제이다.
• Approach: 모델이 절대 점수보다 상대 비교(pairwise comparison)에 훨씬 강하다는 실증적 관찰에 기반해, 불확실성이 큰 후보 쌍에 검증 연산을 동적으로 배분하는 tournament 기반 추론 알고리즘과, 단일 모델을 generator이자 pairwise self-verifier로 공동 학습하는 online RL 프레임워크를 결합해 generation과 verification을 통합한다.

Achievement

Figure 2. (Top) Performance after self-verification using V1-Infer compared with pointwise self-verification across benc

1. Pointwise 대비 pairwise verification의 우수성 입증: GPT-OSS-20B 등 여러 모델·벤치마크에서 pairwise self-verification이 pointwise보다 top-1 self-ranking 정확도가 훨씬 높음을 보였다.
2. V1-Infer 알고리즘 개발: Swiss-system tournament 기반 불확실성 유도 pairwise ranking으로 code generation(LiveCodeBench, CodeContests), SWE/terminal agent(SWE-Bench, Terminal-Bench), math(AIME, HMMT), 비검증 도메인 의료 QA(HealthBench)에서 Pass@1을 pointwise 대비 최대 10% 개선하고, SoTA aggregation 기법(RSA)보다 적은 verification 호출로 동등 이상 성능을 달성했다.
3. V1-PairRL 프레임워크 개발: generator와 pairwise self-verifier를 online으로 co-training하여 표준 RL 및 pointwise joint training 대비 test-time scaling 성능을 3.8–10pp 향상시키고, 기본 Pass@1을 표준 RL 대비 최대 8.7pp 개선했다.
4. Diversity collapse 문제 규명: RSA와 같은 self-aggregation 기법이 반복 단계마다 Pass@N을 단조 감소시키는 현상을 실증적으로 밝혀 pairwise verification의 필요성을 뒷받침했다.

How

Figure 4. Pairwise comparison with vanilla solution generation

• 문제 진단: pointwise self-verification의 calibration collapse(Bradley–Terry 모델 기반 이론적 근거)와 RSA의 diversity collapse(Pass@N 단조 감소)를 실험적으로 입증(Fig. 1).
• V1-Infer: 후보 해답 쌍의 상대적 정답 여부에 대한 불확실성을 추정하고, Swiss-system tournament 방식으로 가장 불확실한 쌍에 self-verification compute를 우선 배분하는 알고리즘 설계.
• V1-PairRL: 단일 모델을 generator와 pairwise verifier로 동시에 online RL 학습시켜, generator의 분포 변화에 verifier가 적응하도록 하는 co-evolving objective를 사용(기존 pointwise reward나 offline data 기반 co-training과 차별화).
• 평가: LiveCodeBench, CodeContests, SWE-Bench, Terminal-Bench, AIME, HMMT, HealthBench 등 다양한 검증/비검증 도메인에서 Pass@1, budget 대비 정확도, RSA 대비 verification 호출 수 비교 등 다각도 실험 수행.

Originality

• pointwise vs pairwise self-verification의 근본적 차이를 이론(Bradley-Terry 식별성)과 실증 양면에서 규명하고, 이를 test-time scaling 알고리즘 설계의 핵심 원리로 제시한 점.
• self-aggregation 기법의 diversity collapse 현상을 명시적으로 정의하고 정량화한 점.
• generator와 pairwise self-verifier를 offline data나 pointwise reward 없이 online RL로 공동 진화시키는 co-training 방식을 처음 제안한 점.
• 불확실성 기반 tournament 방식으로 verification compute를 동적 배분하는 효율적 추론 알고리즘.

Limitation & Further Study

• 발췌된 내용에는 V1-PairRL의 구체적인 RL 알고리즘(reward 설계, 학습 안정성) 세부사항이 충분히 드러나지 않아 재현성 및 스케일업 가능성에 대한 추가 검증이 필요하다.
• Swiss-system tournament 기반 pairwise ranking은 후보 수가 매우 커질 경우 비교 횟수가 늘어날 수 있어, 극단적으로 큰 N에서의 확장성에 대한 추가 분석이 필요하다.
• 비검증 도메인(HealthBench 등)에서의 성능 개선이 rubric 기반 보상에 의존하는데, 이러한 보상 설계의 일반화 가능성에 대한 추가 논의가 필요하다.
• 후속 연구로 더 다양한 도메인 및 더 큰 모델 스케일에서의 검증, self-verification 편향(자기 샘플 선호) 완화 방안에 대한 연구가 필요해 보인다.

Evaluation

총평: pointwise verification의 근본적 한계를 명확히 진단하고 이를 pairwise verification과 co-training이라는 통합적 해법으로 해결한, 이론과 실증이 균형 잡힌 우수한 연구이다. 다양한 도메인에서 일관된 성능 향상을 보여 test-time scaling 연구에 실질적 기여를 한다.