Visual Instruction Tuning

Motivation

• Known: NLP 분야에서는 instruction tuning을 통해 LLM(GPT-3, T5, PaLM 등)의 zero-shot/few-shot 일반화 능력을 크게 개선할 수 있음이 InstructGPT, FLAN-T5 등으로 입증되었고, 비전 분야에서는 CLIP, Flamingo, BLIP-2, KOSMOS-1 등의 language-augmented foundation vision model들이 개별 task(분류, 검출, 캡셔닝 등)를 해결해왔다.
• Gap: 기존 멀티모달 모델들은 각 task를 독립적으로 해결하는 고정된 인터페이스를 가지며 vision-language instruction-following 데이터가 부족해 명시적으로 instruction에 맞춰 튜닝되지 않았고, 그 결과 언어 전용 task에 비해 멀티모달 task 성능이 뒤처지는 한계가 있었다.
• Why: 언어를 범용 인터페이스로 사용해 다양한 vision-language task를 사용자 의도에 맞춰 수행하는 end-to-end 멀티모달 assistant를 구축하는 것은 범용 AI 어시스턴트 개발의 핵심 과제이며, 이 연구는 이를 위한 데이터·모델·평가 벤치마크를 모두 최초로 제시했다는 점에서 중요하다.
• Approach: 이미지의 캡션과 bounding box를 텍스트로 심볼릭 인코딩하여 언어 전용 GPT-4/ChatGPT에 프롬프트로 제공함으로써 대화, 상세 설명, 복잡한 추론 세 가지 유형의 멀티모달 instruction-following 데이터를 생성하고, 이를 이용해 CLIP 비전 인코더와 Vicuna LLM을 연결한 LLaVA 모델을 end-to-end로 instruction tuning한다.

Achievement

Figure 2: LLaVA generates HTML/JS code for an interactive website based on user sketch inputs.

1. 최초의 GPT-4 기반 멀티모달 instruction 데이터 생성: 언어 전용 GPT-4를 이용해 캡션과 bounding box 정보를 텍스트로 인코딩, COCO 이미지 기반의 158K 규모 멀티모달 instruction-following 데이터셋(대화·상세설명·복잡추론)을 생성했다.
2. LLaVA 모델 개발: CLIP 비전 인코더와 Vicuna 언어 디코더를 프로젝션 레이어로 연결한 end-to-end 대형 멀티모달 모델을 제안하고 생성 데이터로 instruction tuning했다.
3. 성능 검증: 합성 멀티모달 instruction-following 평가에서 GPT-4 대비 85.1%의 상대 점수를 달성했으며, GPT-4와 앙상블 시 ScienceQA에서 92.53%로 새로운 state-of-the-art를 기록했다.
4. LLaVA-Bench 벤치마크 제안: 다양한 이미지·지시문·상세 주석으로 구성된 두 가지 도전적인 멀티모달 instruction-following 평가 벤치마크를 공개했다.
5. 오픈소스 공개: 생성 데이터, 코드, 모델 체크포인트, 데모를 모두 공개하여 후속 연구를 촉진했다.

How

• 이미지-텍스트 페어(COCO)를 캡션과 bounding box라는 두 가지 심볼릭 표현으로 변환해 텍스트 전용 GPT-4/ChatGPT가 이해할 수 있는 형태로 인코딩
• 소수의 手동 제작(seed) 예시를 이용한 in-context-learning 방식으로 GPT-4를 프롬프팅하여 대화형(conversation), 상세 설명(detailed description), 복잡한 추론(complex reasoning) 세 가지 유형의 instruction-following 응답을 생성
• CLIP의 visual encoder(ViT)로 이미지 특징을 추출한 뒤, 학습 가능한 projection matrix를 통해 language embedding space로 매핑하고 이를 Vicuna LLM에 입력으로 사용하는 간단한 아키텍처 구성
• 2단계 학습: (1) 이미지-텍스트 페어를 이용한 feature alignment를 위한 사전학습, (2) 생성된 instruction 데이터를 이용한 end-to-end fine-tuning
• ScienceQA에서는 LLaVA의 예측과 GPT-4의 예측을 결합하는 앙상블 방식(judge 역할의 GPT-4 활용)으로 성능을 극대화
• LLaVA-Bench(COCO, In-the-Wild) 벤치마크를 구축하고 GPT-4를 평가자로 활용해 상대 점수를 산출

Originality

• 언어 전용 GPT-4를 텍스트 심볼릭 표현(캡션+박스)만으로 멀티모달 instruction 데이터 생성에 활용한 최초의 접근으로, 이미지 자체를 GPT-4에 입력하지 않고도 시각적 맥락을 반영한 고품질 instruction 데이터를 대량 생성한 점이 독창적이다.
• 기존의 개별 task별 고정 인터페이스 모델과 달리, 단일 end-to-end 모델이 자유형식 언어 instruction을 따르는 범용 visual assistant 패러다임을 제시했다.
• 복잡한 추론(complex reasoning) 유형의 instruction 데이터를 별도로 설계해 단순 기술(description)을 넘어선 심화된 멀티모달 이해 능력을 학습시키고자 한 시도가 새롭다.

Limitation & Further Study

• 데이터 생성이 GPT-4의 텍스트 심볼릭 표현(캡션, 박스)에 의존하므로 실제 이미지 정보의 손실 및 GPT-4의 hallucination이 데이터 품질에 영향을 줄 수 있다.
• 비교적 단순한 linear projection 기반 vision-language 연결 방식으로, 더 정교한 cross-modal fusion 구조에 비해 표현력의 한계가 있을 수 있다.
• 평가가 GPT-4를 judge로 사용하는 상대 점수 방식에 크게 의존하고 있어 평가의 객관성과 재현성에 한계가 있으며, 향후 보다 다양하고 표준화된 정량적 벤치마크 개발이 필요하다.
• 이미지 해상도 및 세밀한 시각적 디테일(예: 텍스트, 소형 객체) 인식 능력에 한계가 있을 수 있어, 고해상도 인코더나 더 큰 데이터 스케일로의 확장 연구가 후속 과제로 남는다.

Evaluation

총평: 멀티모달 instruction tuning이라는 새로운 연구 방향을 개척하고 데이터·모델·벤치마크를 모두 오픈소스로 공개하여 이후 멀티모달 LLM 연구 전반에 지대한 영향을 미친 선구적이고 중요한 연구이다.