Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment

Motivation

• Known: 기존 LLM/VLM quantization 연구는 대부분 서버급 GPU 환경에서 모델 전체를 end-to-end로 평가해왔으며, quantization이 정확도와 자원 효율성에 미치는 영향을 다뤄왔다.
• Gap: VLM을 구성하는 vision encoder, projector, LLM backbone 각각의 quantization 민감도를 독립적으로 통제하고 정량화한 연구가 드물며, 특히 heterogeneous edge SoC 환경에서의 cross-platform 비교 연구는 더욱 부족하다.
• Why: on-device multimodal AI를 위한 실제 배포 시 어떤 컴포넌트를 우선적으로 quantization해야 하는지, bit-width를 어떻게 배분해야 하는지에 대한 실무적 의사결정 근거를 제공하기 때문에 중요하다.
• Approach: Qwen3-VL-2B, DeepSeek-VL2-Tiny, PaliGemma2-3B, LLaVA-OV-0.5B, Kosmos-2.5의 5개 아키텍처적으로 다양한 sVLM에 대해 single-component ablation과 composite quantization 설정을 포함한 6개 configuration(cfg0~cfg5)을 정의하고, Jetson NX/AGX 두 하드웨어 플랫폼에서 MME 정확도, VRAM, 컴포넌트별 latency, TPOT, intelligence-per-joule(IPJ)을 측정하여 5개 가설을 검증한다.

Achievement

Figure 1. MME total score across quantization configurations (defined in the legend) for five sVLMs on the AGX Orin and

1. 구조적 패러다임이 quantization 민감도를 결정: MoE 구조 backbone은 dense 구조 대비 INT4 noise를 완화하며, 이는 단순 파라미터 규모가 아니라 구조적 패러다임(MoE vs. dense)에 기인함을 밝혔다.
2. SigLIP encoder의 이례적 INT8 latency 현상 규명: Jetson Ampere 환경에서 SigLIP 기반 vision encoder의 INT8 quantization이 정확도 변화 대비 불균형적으로 큰 latency 증가를 유발하며, 이는 SigLIP 자체의 결함이 아니라 encoder-kernel-hardware 상호작용에서 기인한 배포 특유의 현상임을 확인했다.
3. VRAM 절감과 추론 속도의 trade-off: LLM의 INT4 quantization은 VRAM 소비를 크게 줄이지만 dequantization overhead로 인해 token 생성 속도(TPOT)는 오히려 저하됨을 실증했다.
4. composite quantization error의 가산적 특성: 여러 컴포넌트를 동시에 quantization했을 때의 오차는 대체로 가산적(additive)이나, modality-alignment 경로(즉 projector 관련)에서는 architecture-dependent한 예외가 존재함을 발견했다.
5. 플랫폼 간 intelligence-per-joule 편차: 메모리 대역폭 제약으로 인해 NX와 AGX 간 IPJ 프로파일이 크게 달라짐을 보였다.

How

• Table 2에 정의된 6개 configuration(cfg0 baseline부터 cfg5까지)을 통해 vision encoder(FP16/INT8), projector(FP16/INT8), LLM(FP16/INT4)을 독립적 및 결합적으로 quantization
• cfg1, cfg2, cfg4는 각 단일 컴포넌트의 영향을 분리하는 ablation, cfg3(=cfg1+cfg2), cfg5(=cfg1+cfg4)는 컴포넌트 간 상호작용을 포착하는 composite 설정
• Jetson Orin NX(102.4GB/s, 16GB VRAM)와 Jetson AGX Orin(204.8GB/s, 64GB VRAM) 두 heterogeneous edge SoC에서 동일 실험 반복(n≥3 independent runs)
• MME benchmark(perception, cognition, total score)로 정확도 측정, VRAM footprint, 컴포넌트별 latency, LLM TPOT, IPJ(Saad-Falcon et al., 2025 지표)로 자원 효율성 측정
• 5개 사전 정의 가설(H1~H5: scale-dependent sensitivity, vision encoder architecture-specific latency anomaly, VRAM-TPOT trade-off, non-additive composite error, cross-platform ranking stability)에 대해 실증적으로 검증

Originality

• VLM을 vision encoder/projector/LLM backbone 세 요소로 완전히 분리하여 quantization 민감도를 독립적으로 통제한 최초의 systematic controlled experiment라고 주장
• 서버급 GPU가 아닌 실제 edge SoC(Jetson NX/AGX) 두 종에서 cross-hardware 비교를 수행하여 platform-consistent 정확도와 hardware-specific latency/energy를 구분
• SigLIP 기반 encoder의 INT8 latency 이상 현상을 hardware-software stack 관점에서 규명한 점이 실무적으로 참신함
• 가설-주도(hypothesis-driven) 평가 프레임워크를 통해 quantization 연구를 단순 벤치마킹이 아닌 구조화된 과학적 검증 절차로 전환

Limitation & Further Study

• 평가 대상 모델이 5개, configuration이 6개로 제한적이어서 다양한 vision encoder(예: CLIP 계열)나 다른 quantization 기법(GPTQ, AWQ 등)과의 비교가 부족함
• MME benchmark 단일 데이터셋에 의존하고 있어 다른 태스크(VQA, captioning 등)에서의 일반화 가능성이 검증되지 않음
• 발췌 내용상 H4(non-additive interaction)의 최종 결론이 abstract에서는 "largely additive"로 요약되어 있어 본문 hypothesis 서술과 다소 상충되는 부분이 있어 명확한 해석이 필요함
• 후속 연구로는 더 많은 하드웨어 플랫폼(예: 다른 벤더의 edge NPU)과 quantization 알고리즘으로 확장하고, 실제 애플리케이션 시나리오에서의 end-to-end 지연시간 및 사용자 경험 평가가 필요함

Evaluation

총평: 소형 VLM의 실제 edge 배포를 위한 component-wise quantization 민감도 분석을 체계적으로 수행한 실용적이고 시의적절한 연구로, 특히 SigLIP-Jetson 상호작용과 MoE-dense 구조 차이에 대한 발견은 실무자에게 유용한 가이드라인을 제공한다.