JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification

Motivation

• Known: CNN 기반 모델은 ISIC benchmark에서 dermatologist-level accuracy를 달성했으며, dermoscopic image에 clinical context와 metadata를 결합하는 multimodal learning이 classification 성능을 향상시킨다는 것이 알려져 있다.
• Gap: 기존 multimodal 접근법은 대부분 단순 concatenation이나 late fusion에 의존하여 복잡한 cross-modal interaction을 포착하지 못하고, attention 기반 방법조차 multimodal 정보를 단일 representation으로 압축하여 metadata를 보조적 guidance로만 취급함으로써 instance-specific하고 상호보완적인 modality 기여도를 모델링하지 못한다.
• Why: 임상 현장에서는 실제로 dermoscopic image, clinical photograph, patient metadata를 모두 활용해 진단이 이루어지므로, 이를 통합적으로 반영하면서도 sample마다 다른 modality의 신뢰도를 반영할 수 있는 프레임워크가 실질적 임상 적용 가능성을 높인다.
• Approach: Joint-individual 구조로 각 modality별 개별 classifier head와 joint fusion representation을 동시에 학습시키고, 이들 logit을 concatenate하여 gating network를 통해 instance별 fusion weight(α)를 산출하는 adaptive decision fusion(ADF)을 도입했다. 또한 image와 metadata feature가 서로 attend하면서도 self-evidence를 보존하는 multimodal fusion attention(MMFA) 모듈을 fusion module로 사용했다.

Achievement

Figure 3. Fusion Architecture Ablation – Multimetrics Comparison

1. 최고 성능 달성: MILK10k benchmark에서 JI-ADF가 기존 8개 state-of-the-art multimodal baseline(JIF-MMFA, VEMFL, CAFFM, ALBEF, CoscatNet-UFS, DualRefNet, SkinM2Former, Fine-tuned PanDerm) 대비 AUC(0.866), accuracy(0.930), precision(0.543), sensitivity(0.536), Dice(0.505)에서 최고 성능을 기록했다.
2. Modality 조합 효과 검증: unimodal 및 bimodal 조합에 대한 ablation study를 통해 trimodal(C+D+M) 조합이 대부분의 지표에서 최고 성능을 보임을 입증했다.
3. MMFA 구조 타당성 검증: attention path와 residual path를 결합한 MMFA의 각 구성 요소가 상호보완적 역할을 하며, 두 경로를 함께 사용할 때 sensitivity와 Dice가 최고로 나타남을 확인했다.
4. 임상적 해석 가능성 확보: Grad-CAM 시각화와 calibration curve 분석을 통해 모델의 robustness와 임상적으로 의미 있는 판단 근거를 제시했다.

How

Figure 2. Multimodal Fusion Attention Module (MMFA), where

• Backbone streams: dermoscopic image와 close-up clinical image를 image encoder MI에 넣어 fI를 얻고, metadata encoder MM으로 fM을 산출.
• Fusion module: MMFA(FM)로 fI, fM을 결합해 joint representation fIM 생성.
• 3개의 branch classifier: CI, CM, CIM 각각이 fI, fM, fIM으로부터 독립적인 posterior PI, PM, PIM을 산출하고 각각 cross-entropy loss(LI, LM, LIM)로 supervise.
• Adaptive Decision Fusion(ADF): 세 branch의 logit을 concatenate한 s를 gating network(2-layer MLP with softmax)에 통과시켜 instance별 simplex weight α=(αI, αIM, αM) 산출, 이를 통해 최종 posterior Pfinal을 convex combination으로 계산.
• Training objective: Pfinal에 대한 CE loss와 λIM=0.5, λI=λM=0.25로 가중된 auxiliary loss들을 합산해 최종 loss 구성.
• MMFA 세부: image/metadata feature로부터 head별 query, key, value를 생성하고 2×2 multi-head cross/self-attention을 수행한 뒤, skip connection과 결합하여 fIM 산출.
• 평가: MILK10k benchmark에서 AUC, precision, accuracy, sensitivity, specificity, Dice 지표로 비교, modality ablation(C/D/M 및 조합), attention-residual ablation, Grad-CAM, calibration curve 분석 수행.

Originality

• 단순 concatenation이나 late fusion을 넘어, joint representation과 modality-specific branch를 동시에 학습시키고 이를 instance-adaptive gating으로 결합하는 joint-individual 구조를 제안.
• Fixed averaging이 아닌 per-sample fusion weight를 학습하는 adaptive decision fusion(ADF) 메커니즘을 도입해 modality 간 불균등한 진단적 증거를 반영.
• 2-token multi-head attention과 residual skip path를 결합한 MMFA 모듈로 cross-modal reasoning과 modality-specific evidence 보존을 동시에 달성.

Limitation & Further Study

• 단일 benchmark(MILK10k)에서만 평가되어 다른 데이터셋이나 인구집단에 대한 일반화 가능성이 검증되지 않았다.
• Ablation은 modality 조합과 attention/residual 경로에 국한되어 있으며, gating network의 구조적 민감도나 hyperparameter(λ 값 등)에 대한 심층 분석이 부족하다.
• Sensitivity 개선이 여전히 절대적으로 낮은 수준(0.536)에 머물러 있어 실제 임상 배포를 위해서는 severe class imbalance 문제에 대한 추가 연구가 필요하다.
• 후속 연구로 다양한 기관/인구의 외부 데이터셋 검증, uncertainty quantification과의 결합, gating mechanism의 해석 가능성 강화를 고려할 수 있다.

Evaluation

총평: Trimodal 정보를 instance-adaptive하게 융합하는 구조적으로 잘 설계된 접근법으로, MILK10k에서 강력한 실험적 성능 개선을 보였으나 단일 데이터셋 검증에 그쳐 일반화 가능성에 대한 추가 검증이 필요하다.