Turning Drift into Constraint: Robust Reasoning Alignment in Non-Stationary Multi-Stream Environments

Motivation

• Known: 기존 연구들은 여러 대형 모델을 reference stream으로 활용해 target 모델의 능력을 효율적으로 확보하는 것이 표준 패러다임으로 자리잡았으며, reasoning fusion과 personalized explanation alignment가 성능을 향상시킨다는 것이 알려져 있다.
• Gap: 그러나 다중 source 모델의 reasoning distribution은 pre-training bias와 architecture 차이로 인해 non-stationary하게 drift하며, 이를 무분별하게 흡수하는 naive alignment는 모순된 logic을 내재화시켜 hallucination과 semantic inconsistency, catastrophic error propagation을 유발한다는 문제가 충분히 탐구되지 않았다.
• Why: safety-critical한 의료 진단 등의 도메인에서 여러 MLLM의 지식을 결합해 target 모델을 학습시키는 것이 점점 보편화되고 있는데, source 모델 간 drift를 제대로 다루지 못하면 잘못된 reasoning이 target 모델에 그대로 전이되어 신뢰성 있는 시스템 구축을 어렵게 만들기 때문에 이 문제 해결은 중요하다.
• Approach: concept drift theory에 기반하여 multi-source reasoning alignment를 constraint satisfaction problem으로 재정의하고, source 모델 간 divergence를 dynamic negative constraint로 취급하는 self-supervised 프레임워크 APO를 제안한다.

Achievement

Figure 2. The main contributions of our methods. (a) Supervised Bootstrapping with Consensus Synthesis. In the initial p

1. APO 프레임워크 제안: ground-truth label 없이 source 모델 간 consensus를 positive signal로, drifting conflict를 negative constraint로 활용하여 자동으로 preference pair를 구성하는 self-supervised alignment 전략을 제시하였다.
2. 강건성과 효율성 입증: chest X-ray interpretation 실험에서 7B 모델이 표준 alignment 방법 대비 단 10%의 데이터만으로도 proprietary source 모델들을 능가하는 average accuracy를 달성하며 우수한 robustness와 generalization을 보였다.
3. 대규모 벤치마크 공개: 7개의 대형 MLLM으로부터 얻은 170,982개의 reasoning trajectory로 구성된 CXR-MAX 벤치마크를 공개하여 drift 하의 reasoning alignment 연구를 위한 fine-grained 자원을 제공하였다.

How

Figure 2. The main contributions of our methods. (a) Supervised Bootstrapping with Consensus Synthesis. In the initial p

• Concept drift theory 관점에서 다중 source MLLM의 reasoning trajectory를 분석하여, 모델 간 상호 보완적 divergence(예: high-precision vs high-recall reasoning)와 naive alignment 시 발생하는 distributional corruption을 실증적으로 관찰한다 (Observation 1.1, 1.2).
• 1단계(Supervised Bootstrapping): target 모델을 다양한 source MLLM의 reasoning stream에 노출시켜 source 모델들의 capability union으로 투영, 폭넓은 domain capability를 확보하는 foundational capability space를 구축한다.
• 2단계(Consensus Synthesis): 여러 stream을 능동적으로 aggregation하여 inter-model conflict를 해소하고 개별 모델의 hallucination을 완화하는 self-consistent consensus manifold(trajectory)를 합성한다.
• 3단계(Constraint-Aware Optimization): 합성된 consensus를 positive reference로, drift가 발생한 trajectory들을 negative constraint로 삼아, multi-negative Plackett-Luce objective를 통해 consensus의 likelihood는 최대화하고 drifting pattern의 확률은 억제하여 decision boundary를 sharpening한다.
• MIMIC-CXR 기반 chest X-ray interpretation 태스크에서 GPT-5, Sonnet-4, Gemini-2.5, Qwen-VL-Max, Grok-4, GLM-4.5V, Moonshot-v1 등 7개 대형 MLLM을 source로 사용하여 실험을 수행한다.

Originality

• Concept drift theory를 multi-source LLM/MLLM alignment 문제에 접목시켜, 기존에는 노이즈로 취급되던 모델 간 disagreement를 명시적인 negative constraint로 재해석한 최초의 시도이다.
• 표준 preference optimization(예: DPO)과 달리, 다수의 drifting trajectory를 동시에 negative sample로 다루는 multi-negative Plackett-Luce objective를 도입하여 constraint-aware한 preference alignment를 구현하였다.
• Ground-truth label 없이 source 모델 간 consensus만으로 self-supervised alignment가 가능하도록 설계하여, 데이터 효율성(10% 데이터로 우수한 성능)을 크게 향상시켰다.

Limitation & Further Study

• 실험이 chest X-ray interpretation이라는 특정 의료 도메인에 국한되어 있어, 다른 도메인(예: 일반 VQA, 텍스트 전용 reasoning)에서도 APO의 일반화 가능성을 검증할 필요가 있다.
• Source 모델의 수나 다양성이 제한적일 경우(예: 소수의 유사한 모델만 존재) consensus manifold의 품질과 negative constraint의 유효성이 저하될 가능성에 대한 분석이 부족하다.
• Consensus synthesis 단계 자체가 여전히 여러 source 모델의 aggregation에 의존하므로, source 모델들이 공유하는 systematic bias(공통 오류)에 대해서는 제약이 작동하지 않을 위험이 있으며 이에 대한 후속 연구가 필요하다.

Evaluation

총평: Concept drift 이론을 multi-source MLLM alignment에 창의적으로 접목하여 drift를 constraint로 전환하는 새로운 관점을 제시했으며, 의료 도메인에서의 실증 결과와 대규모 벤치마크 공개를 통해 실용적 기여도도 높은 우수한 연구이다.