Modeling Long-Tail Relations in the Operating Room via In-Context Multimodal Learning

Motivation

• Known: 기존 OR SGG 연구는 4D-OR, MM-OR 데이터셋과 MM2SG 같은 MLLM 기반 방법을 통해 전반적으로 만족스러운 성능을 보여왔으며, ICL은 파라미터 업데이트 없이 few-shot 예시를 활용해 LLM 성능을 향상시키는 기법으로 알려져 있다.
• Gap: 기존 OR SGG 방법들은 head category에 비해 long-tail category(예: Calibrating, Drilling)에서 F1 score가 크게 떨어지는 문제(0.664 대비 0.289)를 가지고 있으며, 이를 명시적으로 다룬 연구가 없었고, ICL을 멀티모달 triplet 기반 SGG에 적용하려면 long-tail 식별과 이종 모달리티 간 검색이라는 미해결 과제가 존재한다.
• Why: 수술실은 정밀한 협업과 신속한 의사결정이 필요한 고위험 환경이므로, 드물게 발생하지만 임상적으로 중요한 수술 행위(예: Sawing, Drilling, Suturing)에 대한 정확한 인식은 실제 임상 적용 가능성과 환자 안전에 직결되는 문제이다.
• Approach: 이 논문은 test 샘플이 long-tail 범주에 속하는지 판단하는 Adaptive Router와, 멀티모달 검색 및 학습된 MLLM Reranker를 통해 가장 유사한 예시를 선택하여 ICL에 활용하는 SGG-ICL 프레임워크를 제안한다.

Achievement

Figure 2. Confusion matrix of the Adaptive Router.

1. Long-tail 특화 선택적 ICL 적용: Adaptive Router를 통해 long-tail로 판별된 샘플에만 ICL을 적용함으로써 head category 성능 저하 없이 long-tail 정확도를 향상시켰다.
2. 정량적 성능 개선: MM-OR 데이터셋 실험에서 long-tail 카테고리 정확도를 6.9% 향상시키고, 전체 정확도도 2.6% 개선하였다.
3. 멀티모달 reranker 학습: annotated SGG triplet으로부터 계산된 IoU score를 supervision으로 사용해 MLLM Reranker를 학습시켜 pairwise sample similarity 추정 능력을 확보하였다.

How

Figure 1. Overall pipeline of SGG-ICL. At inference time, an Adaptive Router first assigns each query to either a head o

• Adaptive Router: Qwen3 기반으로 각 test 샘플이 long-tail category에 속하는지 판단하여 ICL 적용 여부를 결정
• 2단계 coarse-to-fine 멀티모달 검색: 1단계에서 BGE-VL-MLLM을 이용해 candidate pool을 사전 구성
• 2단계에서 annotated SGG triplet으로부터 계산한 IoU score로 지도학습된 MLLM Reranker를 통해 candidate pool을 재정렬하고 top-k 예시를 선택
• 선택된 예시를 test query와 결합하여 ICL 기반 scene graph generation 수행
• MM-OR 데이터셋에서 실험을 수행하고 파라미터 top-k, Γ에 대한 ablation 분석 진행

Originality

• OR SGG에서 long-tail 문제를 명시적으로 다룬 최초의 연구라는 점에서 문제 설정 자체가 독창적임
• 단순히 ICL을 적용하는 것이 아니라 long-tail 여부에 따라 선택적으로 ICL을 적용하는 Adaptive Router라는 라우팅 전략을 새롭게 제안함
• 텍스트 전용 ICL retrieval 연구(UDR, LLM-R 등)와 달리 RGB, point cloud, speech 등 이종 멀티모달리티와 triplet 구조를 모두 고려하는 coarse-to-fine reranker를 설계함
• IoU score를 supervision 신호로 활용해 SGG 특화된 유사도 학습 방식을 도입함

Limitation & Further Study

• Adaptive Router가 long-tail 여부를 오판할 경우 성능 저하 가능성이 있으나 confusion matrix 외 오류 전파에 대한 심층 분석이 부족함
• MLLM Reranker 학습에 필요한 IoU 기반 supervision 구축 비용과 확장성에 대한 논의가 제한적임
• 단일 데이터셋(MM-OR)에서만 검증되어 다른 도메인이나 다른 long-tail 분포에 대한 일반화 가능성이 불확실함
• ICL 적용 시 추론 비용 증가(retrieval, reranking, 긴 프롬프트) 등 실제 배포 시 효율성 트레이드오프에 대한 분석이 미흡함
• 후속 연구로는 다양한 수술 도메인 및 실시간 환경에서의 효율성 검증, 그리고 Adaptive Router의 오류에 강건한 메커니즘 개발이 필요함

Evaluation

총평: OR SGG의 실질적인 임상 적용을 저해하는 long-tail 문제를 최초로 다루며 멀티모달 ICL 기반의 실용적 해법을 제시한 점에서 의의가 크지만, 단일 데이터셋 검증과 효율성 분석의 부족은 아쉬운 부분이다.