IVQA-LD: Inclusive Multimodal Understanding for Population with Limb Deficiency

Motivation

• Known: 기존 VLM들은 CLIP 기반 vision encoder와 LLM을 결합한 구조(BLIP-2, LLaVA, Qwen-VL, InternVL 등)로 general-purpose VQA와 captioning에서 강력한 성능을 보여왔으며, VizWiz-VQA(시각장애인), VQA-RAD/SLAKE(의료 영상) 등 특정 도메인을 위한 expert-driven 혹은 assistive VQA 데이터셋들도 존재한다.
• Gap: 그러나 사지 결손(limb-deficiency) 인구는 기존 대규모 vision 데이터셋에서 거의 배제되어 있으며, prosthetic 사용이나 adaptive human action을 포착하는 데이터가 부재하고, 의료-기능적 지식에 기반한 fine-grained semantic annotation이나 body-centric understanding을 제공하는 벤치마크가 전무하다.
• Why: 수억 명에 달하는 사지 결손 인구가 AI 서비스에서 체계적으로 배제되고 있으며, VLM이 잔존 사지(residual limb)를 잘못 인식하거나 보철(prosthetic)을 무시하거나 온전한 사지를 hallucination하는 등 불공평하고 부정확한 행동을 보이는 문제를 해결하는 것은 공정성(fairness)과 포용적 AI(inclusive AI) 관점에서 중요하다.
• Approach: 실세계 시나리오(일상생활, 재활, 패럴림픽 스포츠)를 아우르는 8가지 사지 결손 유형, 96개 사지 관련 행동 범주, WHO 정의 68개 의료-기능 클래스를 체계적으로 조직한 전문가 주석 VQA 데이터셋 IVQA-LD를 구축하고, 이를 기반으로 SOTA VLM을 벤치마킹한 뒤 body-centric structure prior를 명시적으로 주입하는 BSI fine-tuning 전략을 제안한다.

Achievement

1. IVQA-LD 데이터셋 구축: 14,054개 이미지에서 파생된 80,000개의 image Q-A pair를 포함하며, visual grounding, quantitative reasoning, functional semantic classification, instructional text generation 등 8개 핵심 task를 지원하는 최초의 대규모 전문가 주석 limb-deficiency VQA 데이터셋을 제시하였다.
2. SOTA VLM 종합 벤치마킹: open-source 및 closed-source VLM들을 대상으로 최초의 사지 결손 맥락 종합 평가를 수행하여, prosthetic 오인식, 온전한 사지 hallucination, 모호하거나 임상적으로 부정확한 안내 생성 등 일관된 실패 패턴을 밝혀냈다.
3. BSI 전략 제안 및 성능 개선: 잔존 사지 bounding box와 보조기기 위치 등 general appearance cue로 VLM을 warm-up한 뒤 localization과 disability-specific question answering을 공동 감독하는 fine-tuning을 수행하여, visual grounding에서 50% 이상, functional/disability classification에서 73%의 정확도를 달성하는 등 8개 전 task에서 유의미한 성능 향상을 이루었다.

How

• 8가지 사지 결손 유형을 아우르는 실세계 이미지를 수집하고, 96개 limb-affected human action 범주와 WHO 정의 68개 medical-functional class로 체계적으로 조직
• 다수의 annotator가 잔존 사지 bounding box, 보철/보조기기 유무 및 위치, 사용 여부 등 전문지식이 필요 없는 일반 속성을 라벨링
• biomechanics 전문가와 재활 전문가가 잔존 사지 식별, 보철 기능, adaptive action, 재활 안내 등 임상적으로 의미있는 Q-A pair를 설계
• 머신 생성 Q-A pair는 전문가 전수 검토, human-authored subset은 무작위 expert cross-review를 통해 검증하여 expert consensus를 거친 샘플만 최종 채택
• 최종적으로 8개 core task(limb-aware visual classification, functioning/disability classification, action recognition, prosthesis counting, visual grounding, assistive device-human interaction understanding, scene reasoning, descriptive caption/rehabilitation instruction generation)를 정의
• BSI 전략: (1) 잔존 사지 bounding box, 보철/보조기기 spatial location 등 general limb-deficiency 지식만 요구하는 appearance cue로 VLM을 warm-up, (2) 이후 limb-related localization과 disability-specific question answering을 jointly supervise하며 IVQA-LD로 fine-tuning하여, 답변 생성 전에 사지 관련 영역에 주목하도록 유도하고 language-only shortcut learning을 완화

Originality

• 사지 결손(limb deficiency) 인구를 대상으로 한 최초의 대규모 전문가 주석 멀티모달 VQA 데이터셋 및 벤치마크를 제시함으로써, 기존에 다뤄지지 않았던 disability-centric AI 공정성 문제를 체계적으로 정의
• WHO의 의료-기능 분류 체계를 VQA task 설계에 통합하여 임상적 타당성을 갖춘 fine-grained semantic annotation 프레임워크를 구축
• 비전문가가 점진적으로 도메인 전문성을 습득하는 과정에서 착안한 BSI라는 새로운 curriculum-style 초기화/fine-tuning 전략을 제안하여, localization supervision과 QA supervision을 결합하는 방식으로 일반 목적 VLM을 disability-centered 도메인에 적응

Limitation & Further Study

• 8개 task와 80K Q-A pair 규모는 상당하지만, 실제 배포 환경에서의 다양한 문화권·언어·인종적 다양성이나 장기적 실사용 평가는 제한적일 수 있음
• BSI 전략이 warm-up 단계에서 사용하는 appearance cue(잔존 사지 bounding box 등)의 annotation 비용이 여전히 크며, 새로운 사지 결손 하위 유형이나 미지의 보조기기에 대한 일반화 성능은 추가 검증이 필요
• closed-source VLM에 대한 벤치마킹 결과 해석에 모델 내부 구조 접근 제한이 존재하여, 실패 원인에 대한 심층적 분석이 어려울 수 있음
• 후속 연구로는 다국어·다문화 확장, 실시간 assistive application으로의 통합, 더 세밀한 prosthetic biomechanics 모델링 등을 고려할 수 있음

Evaluation

총평: 사지 결손 인구를 위한 포용적 AI 연구라는 중요하지만 그동안 간과되었던 영역을 최초로 체계적으로 다룬 의미 있는 연구로, 데이터셋 구축의 엄밀함과 BSI 전략의 실질적 성능 개선이 돋보이나 실사용 환경으로의 일반화 검증이 추가로 필요하다.