Fair-FedMOE: Group-Fair One-Shot Federated Learning via Prototype-Guided Experts for Medical Imaging Analysis

Motivation

• Known: Foundation model을 의료 영상에 fine-tuning하면 인구통계학적 subgroup 간 성능 격차가 존재하며, federated learning은 raw data 공유 없이 기관 간 데이터 다양성을 활용해 이러한 격차를 완화할 수 있다는 것이 알려져 있다. 또한 one-shot FL(OFL)은 단일 통신 라운드로 통신 비용을 크게 줄일 수 있는 방법으로 알려져 있다.
• Gap: 기존 OFL은 기관 간 데이터 이질성으로 인해 로컬 모델이 심하게 발산(divergence)하고, 이를 단순 가중 평균으로 집계하면 파라미터 충돌이 발생해 오히려 subgroup 간 격차를 증폭시키는 문제가 있다. 또한 기존 group fairness 지표(DEOdds, DPD, ES-AUC 등)는 절대 성능을 무시하거나 group 수가 늘어날수록 불안정해지는 한계가 있다.
• Why: 의료 영상 진단에서 subgroup 간 성능 격차는 오진(misdiagnosis)이나 과소진단(underdiagnosis)으로 이어질 수 있어, privacy 규제가 엄격한 다기관 의료 환경에서 통신 효율적이면서도 공정성을 보장하는 학습 프레임워크가 필요하다.
• Approach: 로컬 학습 단계에서는 learnable prototype으로 샘플을 group-specific expert에 라우팅하는 Fairness-aware Expert Routing(FER)을 사용하고, 서버 집계 단계에서는 prototype 유사도 기반 개인화 가중치와 충돌 필터링을 적용하는 Prototype-guided Differential Aggregation(PDA)을 사용하는 단일 통신 라운드 OFL 프레임워크를 제안한다.

Achievement

Figure 3. Group-wise AUC across intersectional subgroups (age ×

1. Fair-FedMOE 프레임워크 제안: FER과 PDA를 결합하여 단일 통신 라운드 내에서 subgroup-specialized 학습과 conflict-aware aggregation을 동시에 달성하는 group-fair OFL 프레임워크를 최초로 설계함.
2. RES-AUC 지표 개발: Rawlsian justice의 maximin 원칙에서 영감을 받아 worst-group 성능과 그룹 간 격차를 함께 고려하면서도 그룹 수가 증가해도 안정적이고 유계(bounded)인 새로운 공정성 지표 RES-AUC를 제안함.
3. 실험적 검증: 망막(retinal) 및 흉부 X-ray 데이터셋, 여러 FM(RETFound, DINOv3 등)에 대한 광범위한 실험을 통해 정확도 저하 없이 일관된 공정성 향상을 입증함.

How

Figure 2. Overview of Fair-FedMOE. Stage 1 (left): Fairness-aware Expert Routing routes samples to group-specific expert

• Fairness-aware Expert Routing (FER): 로컬 학습 중 learnable prototype을 이용해 샘플을 sensitive attribute 기반 group-specific expert로 라우팅하여, 그룹 간 간섭 없이 그룹별 특징을 학습(subgroup-specialized learning)함.
• Uncertainty-aware Fusion: 라우팅된 expert 출력을 불확실성 기반으로 융합하여 예측 성능을 보완함.
• Prototype-guided Differential Aggregation (PDA): 서버에서 클라이언트별 local prototype의 유사도를 바탕으로 개인화된 집계 가중치(personalized weights)를 계산하고, sign-consistency mask와 sparse-overlap mask 등 모듈별 차등 집계 전략을 적용해 충돌하는 파라미터 업데이트를 필터링함.
• 정규화(regularization): 로컬 학습 과정에서 업데이트 방향 정렬(update direction alignment)과 파라미터 희소성(parameter sparsity)을 유도하는 정규화 항을 추가하여 집계 품질을 향상시킴.
• RES-AUC 설계: worst-group AUC를 기반으로 하되 그룹 간 격차를 반영하는 방식으로 정의하여, 기존 ES-AUC 대비 그룹 수 증가에도 안정적인 지표를 수식적으로 도출하고 검증함.

Originality

• OFL(one-shot federated learning) 환경에서 group fairness 문제를 최초로 정식화하고 subgroup performance disparity와 model inconsistency라는 두 가지 핵심 도전 과제를 식별함.
• Mixture-of-Experts 구조를 group fairness 목적에 맞게 prototype 기반 라우팅으로 재설계하여 단일 통신 라운드 제약 하에서도 subgroup-specialized 학습이 가능하도록 함.
• 단순 파라미터 평균이 아닌 prototype 유사도 기반 개인화 가중치와 모듈별 마스킹을 결합한 차등 집계 전략을 제안하여 OFL 특유의 파라미터 충돌 문제에 대응함.
• Rawlsian justice 이론의 maximin 원칙을 fairness 지표 설계에 접목하여 그룹 수 확장에도 안정적인 RES-AUC를 제안함.

Limitation & Further Study

• 제안된 FER과 PDA는 여러 하이퍼파라미터(prototype 개수, expert 개수, 마스킹 임계값 등)에 의존하는데, 이러한 하이퍼파라미터 민감도가 다양한 실제 임상 데이터 분포에서도 일관되게 유지되는지에 대한 추가 검증이 필요함.
• 실험이 주로 망막 및 흉부 X-ray 영상에 국한되어 있어, 다른 의료 영상 모달리티(예: MRI, CT, 병리 이미지)나 비영상 의료 데이터에 대한 일반화 가능성은 추가로 검증되어야 함.
• 단일 통신 라운드(one-shot) 제약으로 인해 극단적으로 이질적인 다기관 환경에서 장기적인 성능 및 공정성 안정성에 대한 분석이 제한적일 수 있음.
• 후속 연구로는 다중 sensitive attribute의 교차성(intersectionality)이 더욱 복잡해지는 상황에서의 확장성 검증, 그리고 프라이버시 보장 측면(예: prototype 공유로 인한 정보 유출 가능성)에 대한 정밀한 분석이 필요함.

Evaluation

총평: OFL이라는 실용적이지만 도전적인 설정에서 group fairness 문제를 체계적으로 정의하고, prototype 기반 expert routing과 차등 집계라는 참신한 조합으로 해결책을 제시했으며, 새로운 안정적 fairness 지표까지 제안한 완성도 높은 연구이다. 다만 다양한 임상 시나리오와 모달리티로의 일반화 검증이 추가되면 더욱 설득력이 높아질 것이다.