A Fairness Audit of Medical Imaging Foundation Models on a Multimodal Structured Clinical Benchmark

Motivation

• Known: CTPA 기반 PE 진단 및 예후 예측에 machine learning이 성공적으로 적용되어 왔으며, INSPECT와 같은 task-specific baseline(CT-LRCN)이 존재한다. 또한 foundation model의 강한 평균 성능이 subgroup 수준의 disparity를 은폐할 수 있다는 점, 그리고 MedImageInsight의 기술 보고서에서도 연령·성별에 대한 fairness 결과가 일부 제시된 바 있다는 점이 알려져 있다.
• Gap: 그러나 MedImageInsight, MedSigLIP, BiomedCLIP 세 frozen encoder를 구조화된 다중모달 임상 벤치마크(INSPECT)에서 PE 진단 및 예후 과제 전반에 걸쳐 체계적으로 비교하고, race/ethnicity·gender·age 세 축에 대한 fairness를 통계적으로 검증하며 실제로 작동하는 완화(mitigation) 전략을 제시한 연구는 없었다.
• Why: PE는 진단 지연이 즉각적으로 환자 예후를 악화시키는 생명을 위협하는 질환이므로, foundation model 기반 임상 AI가 특정 연령대(특히 젊은 환자)에서 near-chance 수준의 진단 성능을 보인다면 이는 환자 안전(patient-safety)과 직결되는 심각한 문제이며, 임상 배치 전 이러한 disparity를 식별하고 완화하는 것이 신뢰 가능한 의료 AI의 전제조건이기 때문이다.
• Approach: 세 개의 frozen 의료 영상 foundation model에서 추출한 slice-level embedding을 mean-pooling하여 study-level 표현을 만들고, 이를 linear/MLP probe에 입력해 PE 진단·예후 과제를 수행한 뒤, 인종·성별·연령별 AUROC, TPR/FPR, UDR을 계산하고 세 가지 bias mitigation 기법(importance weighting, group resampling, adversarial debiasing)의 효과를 비교했다.

Achievement

Figure 4. Min–max UDR gap by mitigation strategy and demo-

1. PE 진단 성능 격차 확인: 세 frozen encoder 모두 CT-LRCN task-specific baseline(AUROC 0.721)보다 유의하게 낮은 성능(0.680–0.684, BiomedCLIP은 0.626)을 보였으며, MedImageInsight와 MedSigLIP은 통계적으로 구분되지 않았다(DeLong p=0.952).
2. 연령이 최우선 disparity 축임을 규명: 18–40세 환자군의 UDR(0.63–0.80)이 75–90세(0.31–0.41)보다 훨씬 높고, 이는 race/ethnicity(0.21–0.29)나 gender(0.08–0.16) 격차를 능가하며 여덟 개 과제 전반에서 일관되게 나타났다.
3. near-chance 진단 실패 사례 발견: 18–40세 그룹에서 MedSigLIP과 BiomedCLIP은 AUROC 0.508로 사실상 무작위 수준의 진단 성능을 보여, 젊은 환자에 대한 심각한 임상적 실패 양상을 드러냈다.
4. 효과적인 완화 전략 제시: age-targeted adversarial debiasing이 AUROC 손실(0.011)을 거의 유발하지 않으면서 MedImageInsight의 연령 격차를 79% 감소(0.333→0.069, p<0.001)시켰음을 입증했다.
5. CT/EHR ablation 분석: EHR 단독은 CT 단독보다 모든 과제에서 유의하게 약하며, CT+EHR 융합의 이득은 미미하거나 없어 성능 병목이 구조화 데이터 부재가 아니라 CT 신호의 공간적 aggregation(mean pooling)에 있음을 시사했다.

How

Figure 1. Pipeline overview. CTPA volumes are decomposed into

• CTPA volume을 axial slice로 분해하고 폐 관련 Hounsfield Unit 범위로 clipping·정규화한 뒤 각 frozen encoder(MedImageInsight, MedSigLIP, BiomedCLIP)로 slice embedding 추출
• Slice embedding을 mean-pooling하여 고정 길이의 study-level 벡터 생성, 이를 logistic regression(LR) 및 MLP probe에 입력
• Hyperparameter는 validation AUROC 기준 grid search로 선정(LR의 C, MLP의 hidden-size)
• AUROC는 1,000회 bootstrap으로 95% CI 산출, AUC 차이는 DeLong test, TPR disparity 유의성은 1,000회 permutation test로 검증
• Race/ethnicity(NH White 기준), gender(Male 기준), age 네 구간별로 AUROC, TPR, FPR, UDR(=1-TPR) 산출
• CT-only, EHR-only, CT+EHR fusion probe를 비교하는 ablation 수행
• Importance weighting, group resampling, adversarial debiasing(gradient reversal layer, α∈{0.5,1.0,2.0}) 세 가지 mitigation 전략을 각 protected attribute별로 평가하고, pgap = P(bootstrapped baseline gap ≤ post-debiasing gap)으로 유의성 검정

Originality

• 의료 영상 foundation model에 대한 fairness audit을 다중모달 구조화 임상 벤치마크(INSPECT)에서 최초로 체계적으로 수행
• 기존에 보고되지 않았던 연령(age) disparity를 race/ethnicity·gender보다 지배적인 축으로 발견
• 세 개의 서로 다른 architecture/규모(632M~86M 파라미터)를 가진 encoder를 동일한 파이프라인과 통계 검정(DeLong test, permutation test) 하에서 비교하여 재현 가능한 audit 프레임워크 제시
• Age-targeted adversarial debiasing이 AUROC 손실 없이 실질적인 격차 완화를 달성한다는 실용적 mitigation 경로를 제시

Limitation & Further Study

• Mean-pooling 방식이 PE 진단에 필요한 국소적 filling-defect 신호를 희석시킬 가능성이 있으나, attention-pooling·max-pooling 등 대안적 pooling 전략과 비교 검증하지 않아 CT-LRCN 대비 성능 격차와 fairness 패턴 중 일부가 이 aggregation 선택에 기인할 수 있음
• 젊은 PE 환자의 과소표집(underrepresentation)이라는 데이터 분포적 요인이 연령 disparity에 기여할 가능성이 제기되었으나, 이를 encoder 자체의 한계와 완전히 분리하지 못함
• Adversarial debiasing의 격차 감소 효과는 validation set 기반으로 산출된 것으로, held-out cohort에서 재현되기 전까지는 상한선(upper bound)으로 간주해야 함
• NH NHPI(n=60)와 같은 소규모 subgroup은 부트스트랩 신뢰구간이 [0,1] 전체를 포괄하여 통계적으로 신뢰할 수 없으므로 후속 연구에서 더 큰 표본이 필요함
• 후속 연구로 pooling 전략 ablation, 다기관·다인구 코호트에서의 재현성 검증, 그리고 다른 protected attribute 조합에 대한 debiasing 일반화 연구가 필요함

Evaluation

총평: 의료 영상 foundation model의 fairness를 다중모달 임상 벤치마크에서 체계적으로 검증하고 실용적인 완화 전략까지 제시한 의미 있는 연구로, 특히 이전에 간과된 연령 disparity를 규명한 점이 임상 AI 안전성 논의에 중요한 기여를 한다. 다만 pooling 전략에 대한 ablation 부재와 데이터 분포 요인 분리 미흡은 향후 보완이 필요하다.