A Controlled Study of Fairness Interventions for Temporal Graph Transformers on ICU Mortality Prediction

Motivation

• Known: EHR 기반 임상 예측 모델은 인종, 연령, 성별 등 인구통계학적 하위집단 간 성능 격차를 보인다는 것이 알려져 있으며, LSTM 등 sequential 모델에 대한 sample reweighting, calibration, threshold tuning 같은 fairness 개입 방법은 잘 연구되어 있다. 또한 GT-BEHRT와 같은 TGT 계열 모델이 EHR 예측에 제안되었지만 이들 연구는 집계된 성능 지표만 보고한다.
• Gap: TGT의 그래프 구조(관계적 inductive bias)가 인구통계학적 성능 격차를 줄이는지 혹은 오히려 잠재적 그룹 상관관계를 가중치화된 edge로 변환하여 격차를 증폭시키는지에 대해 알려진 바가 없으며, 동일한 코호트·분할·시드 조건에서 그래프 모델과 sequential 모델을 비교한 벤치마크가 전무하고 TGT에 대한 fairness 개입 효과도 검토된 적이 없다.
• Why: 임상 배포 환경에서 모델 구조 선택과 fairness 개입 기법의 상호작용을 이해하는 것은 특정 하위집단 격차를 줄이려는 개입이 다른 하위집단의 격차를 악화시킬 수 있다는 위험을 사전에 파악하게 해주며, 이는 실제 임상 의사결정 시스템의 공정성 검증 프로토콜 설계에 직접적인 함의를 가진다.
• Approach: MIMIC-IV의 56,866명 성인 ICU 환자 코호트에서 48시간 시계열 데이터를 이용해 classical/sequential/transformer 베이스라인과 세 가지 TGT edge 구성(TGTTEMPORAL, TGTCLINICAL, TGTFULL)을 동일한 학습 프로토콜과 세 개 시드 하에서 비교하고, 두 가지 in-training 개입(inverse-frequency reweighting, variance regularization)과 세 가지 post-hoc 개입(Platt scaling, isotonic regression, per-subgroup threshold equalization)을 LSTM과 TGTFULL에 적용해 fairness 지표(AUROC/AUPRC gap, TPR gap)를 평가한다.

Achievement

Figure 4. Effect of graph topology on overall AUROC (left) and

1. TGT 구조만으로는 격차가 해소되지 않음: TGT의 그래프 구조 자체는 하위집단 AUROC 격차를 없애지 못하지만, edge 타입 선택이 중요하며 TGTFULL이 매칭된 학습 조건에서 가장 작은 인종(race) AUROC 격차를 달성했다.
2. 단일 속성 reweighting의 트레이드오프: 특정 속성(attribute)을 겨냥한 reweighting은 해당 속성의 격차는 줄이지만, 평가된 모든 모델에서 적어도 하나의 다른 속성 격차를 확대시켰다.
3. Post-hoc 개입의 효과: Platt scaling으로 보정된 확률에 per-subgroup threshold equalization을 적용하면 LSTM과 TGTFULL 모두에서 TPR 격차가 0.20–0.23에서 0.03 미만으로 감소한 반면, calibration만으로는 AUROC 격차가 거의 변하지 않거나 오히려 악화되었다.

How

Figure 1. Our pipeline feeds extracted time-series features from

• MIMIC-IV에서 18세 이상, 48시간 이상 체류한 성인 ICU 환자 56,866명을 추출하고(사망률 13.7%), 30명 미만 하위집단은 제외
• 각 환자에 대해 8개 vital sign과 17개 lab 값을 포함한 25개 시계열 특징과 결측 마스크를 결합해 48×50 신경망 입력 구성
• TGTTEMPORAL(시간 인접 edge), TGTCLINICAL(임상 유사도 edge, k∈{2,4,6,8,12,24}), TGTFULL(둘의 합집합) 세 가지 attention mask 기반 그래프 구성(L=3, H=4, d=64, ~104K 파라미터)
• AdamW, cosine annealing, 5-epoch warmup, gradient clipping, 최대 80 epoch, validation AUROC 기반 조기 종료(patience 10)로 3개 시드(42, 123, 2024) 반복 학습
• sex, age, race 속성별 max-min AUROC/AUPRC gap 및 TPR gap을 fairness 지표로 산출
• In-training 개입: inverse-frequency sample reweighting, subgroup 간 손실 분산에 대한 정규화(λ∈{0.01, 0.05})를 LSTM과 TGTFULL에 적용
• Post-hoc 개입: Platt scaling, isotonic regression(둘 다 validation에서 적합), per-subgroup threshold equalization을 {original, Platt, isotonic} × {global, per-subgroup} threshold 전 조합에 대해 평가
• 그래프 토폴로지 효과를 격리하기 위해 데이터, 분할, 시드, 학습 설정을 동일하게 유지하고 attention mask만 다르게 하는 통제된 ablation 수행

Originality

• TGT 계열 모델(GT-BEHRT 등)이 집계 성능만 보고했던 것과 달리, 최초로 그래프 구조와 sequential/transformer 베이스라인을 동일 코호트·분할·시드 조건에서 비교하며 하위집단(disaggregated subgroup) fairness를 정량 평가
• edge type(temporal vs. clinical vs. full)이라는 그래프 구조 설계 선택이 fairness에 미치는 영향을 체계적으로 분리해 분석한 최초의 통제 연구
• in-training과 post-hoc fairness 개입을 그래프 기반 모델과 sequential 모델 양쪽에 동시에 적용하여 개입 기법의 효과가 모델 아키텍처에 의존하는지 아니면 개입 자체에 내재한 트레이드오프인지를 구분

Limitation & Further Study

• 단일 데이터셋(MIMIC-IV)과 단일 병원 시스템 기반 연구로, 다른 임상 환경이나 코호트에서의 일반화 가능성이 검증되지 않음
• fairness 개입 실험이 LSTM과 TGTFULL 두 모델에만 국한되어 다른 transformer 베이스라인이나 TGT variant에 대한 개입 효과는 다루지 않음
• 성별, 연령, 인종을 별도의 단일 속성으로만 분석하고 교차성(intersectionality, 예: 인종×성별)은 고려하지 않음
• 후속 연구로는 다속성(multi-attribute) 동시 최적화 기법이나 교차 그룹 fairness를 다루는 개입, 다른 임상 과제 및 데이터셋으로의 확장이 필요함

Evaluation

총평: TGT 아키텍처와 fairness 개입 간의 상호작용을 통제된 방식으로 최초로 규명한 실증적 기여가 크며, 특히 단일 속성 개입의 트레이드오프와 threshold equalization의 효과를 명확히 보여준 점이 임상 ML 공정성 연구에 실질적 시사점을 제공한다.