Diversity Over Frequency: Rethinking Tool Use in Visual Chain-of-Thought Agents

Motivation

• Known: 기존 연구들은 V* 벤치마크와 같은 단순 visual search 과제에서 zoom-in, cropping, grounding 등 외부 visual tool을 활용하는 visual chain-of-thought가 고해상도 세부 증거 파악에 효과적임을 보여왔고, 이에 따라 RFT(reinforcement fine-tuning)를 통해 tool 사용을 적극적으로 유도하는 agent 훈련에 대한 관심이 커지고 있다.
• Gap: 하지만 3D spatial reasoning이나 medical VQA와 같이 local evidence와 global context를 통합해야 하는 더 복잡한 visual reasoning 과제에서 tool-mediated reasoning의 역할은 충분히 연구되지 않았으며, RFT 과정에서 tool 사용 빈도와 성능 간의 관계에 대한 이해도 부족하다.
• Why: tool 사용을 단순히 빈도로 유도하거나 억제하는 기존 접근이 복잡한 reasoning 과제에서는 예상치 못한 실패 모드(tool-use collapse)를 유발할 수 있음을 밝힘으로써, agentic visual reasoning 시스템 훈련 설계에 대한 근본적인 재고를 요구하기 때문에 중요하다.
• Approach: 사전학습된 tool-using visual agent에 대해 vanilla RFT와 tool-encouraging reward 설계를 각각 적용해 tool-use collapse와 그 비대칭적 효과를 관찰하고, 텍스트 및 시각 modality에서의 rollout diversity를 정량화한 뒤 adaptive entropy regularization을 도입해 비교 실험한다.

Achievement

1. Tool-use collapse 현상 규명: 사전학습된 tool-using visual agent에 vanilla RFT를 적용하면 정확도는 향상되지만 tool 사용률은 거의 0에 수렴하는 일관된 훈련 병리 현상을 발견하였다.
2. 비대칭성 입증: tool 사용을 완전히 제거하면 성능이 저하되는 반면, reward 기반으로 tool 사용을 강하게 유도해도 사용량은 크게 늘지만 정확도 향상은 미미함을 보여, tool 빈도와 성능이 단순 비례하지 않음을 규명하였다.
3. Diversity 저하와의 연결: vanilla training과 tool-use encouragement 모두 텍스트·시각 양쪽 modality에서 rollout diversity를 저하시키며, 이것이 tool 사용 증가가 reasoning 성능 향상으로 이어지지 않는 원인임을 실증하였다.
4. Entropy regularization을 통한 개선: adaptive entropy regularization term을 추가해 다양한 rollout 탐색을 유도함으로써, tool 사용량이 점차 감소함에도 불구하고 최고 성능을 달성하였다.
5. Scaffolding 관점 제시: 초기 tool-mediated exploration이 이후 tool-less inference에서도 유효한 representation을 형성한다는 훈련 시점(training-time) scaffolding 관점을 제안하고, medical VQA(VQA-RAD)로 확장 검증하였다.

How

• Agentic interaction loop을 thought–action–observation 구조로 정의하고, region grounding, detection, segmentation, point selection, cropping 등 다양한 visual tool trigger token을 지원하는 인터페이스를 구성한다.
• Tool Use Ratio를 최소 하나의 tool trigger token을 포함하는 rollout의 비율로 정의하여 정량화한다.
• GRPO(group-based reinforcement learning objective, Guo et al., 2025) 기반으로 그룹 내 rollout을 샘플링하고 clipped importance sampling과 group-normalized advantage를 이용해 policy를 최적화하며, budget-exceeding rollout을 final-answer failure와 분리하여 advantage 계산에서 제외함으로써 tool 사용에 대한 편향을 완화한다.
• vanilla RFT, tool-encouraging reward 설계(Zheng et al., 2026; Su et al., 2026), adaptive entropy regularization(Zhang et al., 2025b)을 각각 적용해 3D spatial reasoning 및 VQA-RAD(의료 VQA)에서 비교 실험한다.
• 텍스트 exploration(생성 다양성)과 visual exploration(tool 호출 및 관찰 다양성)을 훈련 과정 전반에 걸쳐 정량적으로 분석한다.

Originality

• 기존 연구가 단순 visual search 과제에 국한된 반면, 3D spatial reasoning과 medical VQA라는 local-global 통합이 필요한 복잡한 과제로 tool-use 연구 범위를 확장하였다.
• tool 사용 빈도와 정확도 사이의 비대칭적 관계 및 tool-use collapse라는 새로운 훈련 병리 현상을 최초로 명명하고 체계적으로 분석하였다.
• tool 사용량이 아니라 rollout diversity(텍스트·시각 양 modality)가 reasoning 성능의 핵심 요인이라는 새로운 해석 틀을 제시하였다.
• tool을 "scaffolding"으로 보는 training-time 관점을 제안하여, 초기 tool-mediated exploration이 이후 tool-less 성능 향상에 기여한다는 새로운 프레임을 제공하였다.

Limitation & Further Study

• 실험이 3D spatial reasoning과 VQA-RAD라는 제한된 두 도메인에 국한되어, 다른 유형의 복잡한 visual reasoning 과제(예: 비디오, 다중 객체 추론)로의 일반화 가능성은 추가 검증이 필요하다.
• entropy regularization의 하이퍼파라미터 민감도나 다른 diversity 유도 기법과의 비교가 충분히 논의되지 않은 것으로 보인다.
• tool-use collapse가 발생하는 구체적인 메커니즘(예: reward shaping, length penalty와의 상호작용)에 대한 이론적 분석이 실증적 관찰에 비해 상대적으로 부족하다.
• 향후 연구로는 다양한 tool 유형과 더 넓은 범위의 task에 대한 scaffolding 효과의 일반성 검증, 그리고 diversity와 tool 사용 간의 인과관계를 더 명확히 규명하는 이론적 프레임워크 개발이 필요하다.

Evaluation

총평: Tool 사용 빈도 자체보다 rollout diversity가 visual reasoning agent의 성능을 좌우한다는 통찰은 참신하고 실용적이며, tool-use collapse라는 현상 규명과 scaffolding 관점 제시는 향후 agentic visual reasoning 연구에 중요한 방향을 제시한다.