A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving

Motivation

• Known: 기존 연구들은 deterministic inference 문헌을 통해 batching, scheduling, floating-point 연산, 백엔드 kernel 차이로 인해 동일 입력에서도 출력이 달라질 수 있음을 보였고, serving-system 문헌은 tensor-parallel serving, continuous batching, KV cache 관리 등이 처리량과 지연시간에 중요한 systems 변수임을 확립했다. 또한 quantization 등 배포 시 최적화가 safety 및 trust 행동을 변화시킬 수 있다는 연구도 존재한다.
• Gap: 그러나 기존 연구는 batching으로 인한 출력 변동이 재현성(reproducibility) 문제로만 다뤄졌을 뿐, 그 변동이 safety-sensitive한 refusal boundary에 집중되는지, capability와 비교해 safety 쪽에서 더 자주 발생하는지는 검증되지 않았다. 즉 batch condition이 안전성 평가에서 검증되지 않은 처치 변수(untested treatment variable)로 방치되어 있다는 것이 핵심 공백이다.
• Why: LLM 서빙 환경에서 안전성 평가가 실제 배포 조건(batch size, scheduler)과 무관하게 단일 요청 기준으로만 이루어진다면, 실제 서빙 스택에서 발생하는 refusal 변화가 평가에서 누락되어 안전성 결론이 오도될 위험이 있으며, 이는 배포된 시스템의 신뢰성 평가에 직접적인 영향을 미친다.
• Approach: 로컬 perturbation 테스트, 스코어러 보정 adjudication, 실제 true-batching 확인, 15개 모델 대상 교차 모델 일반화 테스트, continuous-batch 구성(composition) 테스트, 그리고 batch-invariant kernel을 이용한 ablation 연구를 순차적으로 종합하는 방식으로 접근한다.

Achievement

Figure 4. True-batch agreement with synchronized dispatch across

1. Study A(로컬 발견 및 보정): safety label 변화율(0.51%)이 capability label 변화율(0.14%)보다 높게 관측되었으나, 63개 후보 행에 대한 adjudication 결과 실제 행동 변화(genuine flip)는 17건에 불과해 보정된 전체 집합 비율은 0.16%로 크게 줄어들었다.
2. Study B(15개 모델 교차 검증): flip 비율이 거의 동률(0.94x)로 나타나 보편적인 safety-over-capability skew는 발견되지 않았고, alignment type과의 연관성도 통계적으로 유의하지 않았다(p=0.942, η²=0.033). 반면 output instability는 가장 강력한 취약성 예측 지표로 나타났다(r=0.909, 95% CI [0.65, 0.97]).
3. Study C(연속 배치 조합 테스트): continuous-batching 상황에서의 multi-tenant composition 효과는 4.7pp 민감도 수준에서 집계적으로 검출되지 않았다.
4. Study D(batch-invariant kernel ablation): 표준 vLLM은 현재 score-flip 후보 55건 중 22건의 label flip을 재현했으나, VLLM_BATCH_INVARIANT=1을 활성화하면 동일 테스트에서 flip이 0/55로 감소해 메커니즘적 원인을 명확히 규명했다.

How

Figure 4. True-batch agreement with synchronized dispatch across

• Study A: 로컬 환경에서 harmful-behavior/jailbreak 계열 safety prompt와 MMLU, ARC-Challenge 등 capability control을 동일 서빙 조건 하에서 비교하고, scorer 오류를 인간/재검증을 통한 adjudication으로 보정하며, 실제 true-batching(동기화 dispatch) 여부를 재확인
• Study B: 15개 모델에 대해 동일 프로토콜을 확장 적용하고, alignment 유형별 fragility 차이를 ANOVA류 통계(η², p-value)로 검정하며, output instability와 safety fragility 간 상관관계를 bootstrap 신뢰구간으로 추정
• Study C: continuous-batching 스케줄러 내에서 서로 다른 요청들이 동시에 co-reside할 때 발생하는 조합 효과를 측정하여 aggregate 안전성 영향 유무를 검정
• Study D: 동일 H100 서빙 스택에서 표준 vLLM과 vLLM의 batch-invariant kernel(VLLM_BATCH_INVARIANT=1) 실행 경로를 비교하여 Study A에서 발견된 score-flip 후보들이 실제로 재현되는지 ablation 형태로 검증

Originality

• batch condition을 서빙 인프라의 고정된 배경이 아니라 안전성 평가에서의 처치 변수(treatment variable)로 재정의하고 이를 직접 검정 대상으로 삼은 최초의 시도
• 단일 긍정적 결과나 단일 null 결과로 결론짓지 않고, discovery-adjudication-generalization-composition-mechanism이라는 4단계 staged evidence 구조를 통해 과장된 주장을 방지하는 방법론적 설계
• safety label 변화를 capability label 변화와 짝지어 비교함으로써 일반적 출력 불안정성과 안전-특이적 취약성을 구분하는 paired testing protocol 제안
• batch-invariant kernel(VLLM_BATCH_INVARIANT)을 이용해 시스템 수준 메커니즘을 직접적으로 ablation 검증한 접근

Limitation & Further Study

• 발췌된 초록과 서론만으로는 adjudication 기준, 63개 후보 행 선정 방식, scorer의 구체적 정의 등 세부 방법론이 불명확하여 재현성 검증이 제한적임
• 15개 모델 확장에서도 alignment type과의 연관성이 유의하지 않다는 결과는 표본 크기(15개)의 통계적 검정력 한계로 인한 것일 수 있어 추가 대규모 모델 검증이 필요함
• Study C의 4.7pp 민감도 한계로 인해 더 미세한 aggregate composition 효과가 존재할 가능성을 배제하지 못함
• 현재 결과는 특정 vLLM 스택 및 H100 하드웨어 환경에 국한되어 있어, 다른 serving 프레임워크(TensorRT-LLM, SGLang 등)나 하드웨어에서의 일반화 가능성에 대한 추가 검증이 필요
• 후속 연구로는 더 다양한 batch composition 시나리오, 다른 scheduler 정책, 그리고 실제 프로덕션 트래픽 패턴을 반영한 종단적 모니터링 연구가 요구됨

Evaluation

총평: 서빙 조건을 안전성 평가의 처치 변수로 재조명하고 4단계 staged evidence를 통해 과장 없이 low-rate directional flip과 aggregate null effect를 구분한 신뢰할 수 있는 테스트 프로토콜을 제시한 점에서 실용적 가치가 높은 workshop-scale 연구이나, 세부 방법론 공개와 더 넓은 시스템 환경으로의 일반화 검증이 추가로 필요하다.