Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts

Motivation

• Known: 구조화된 의료 데이터(billing code, 진단, 처치, 활력징후 등)는 XGBoost 같은 gradient-boosted tree나 SAINT, NODE, DCN-V2 같은 tabular neural network로 단일 tabular 입력으로 모델링되는 것이 일반적이며, multi-view learning은 이미지-텍스트 융합이나 센서 modality 결합 등에서 상호보완적 정보를 활용하기 위해 널리 쓰여왔다.
• Gap: 기존 구조화 데이터 모델은 레코드를 단일 tabular 입력으로 취급하여 임상적으로 의미있는 상호작용을 암묵적으로만 학습하거나, 텍스트·이미지처럼 본질적으로 다른 modality만 결합해왔고, 하나의 구조화된 레코드를 여러 대안적 view로 변환하고 그 상호작용을 명시적으로 모델링하는 접근은 충분히 탐구되지 않았다.
• Why: 단순 concatenation은 view별 고유 신호, 중복 신호, 결합을 통해서만 나타나는 synergy 신호를 구분하지 못하는데, 이는 헬스케어처럼 민감한 맥락에서 설명을 제공하는 데 결정적이며, view 구성 방식 자체가 해석가능성에 미치는 영향을 규명하는 것은 임상적 신뢰성 확보에 중요하다.
• Approach: Partial Information Decomposition(PID) 개념을 구현한 I2MoE 프레임워크를 사용해, 동일한 구조화 의료 레코드로부터 model-level, data-level, representation-level의 세 가지 view를 구성하고 unique/synergy/redundancy expert의 routing을 통해 예측과 해석을 동시에 분석한다.

Achievement

Figure 1. Cohort-level expert routing across retrainings.

1. 다단계 view 정의 제안: 동일한 구조화 의료 레코드로부터 model-level(SAINT, NODE, DCN-V2 표현), data-level(임상 semantic 그룹), representation-level(GATv2, NODE, Qwen3-Embedding 기반 frozen encoder 표현)의 세 가지 view 구성 방식을 체계적으로 정의함.
2. 예측 성능 검증: 129,401건의 HCUP/NIS stroke 입원 코호트에서 post-stroke rigidity 이진분류를 수행한 결과, I2MoE의 model-level view가 XGBoost 대비 AUROC/AUPRC에서 통계적으로 유의한 소폭 개선(0.7714 vs 0.7627)을 보였으나 전반적으로 개선 폭은 미미함.
3. Routing attribution을 통한 해석가능성 발견: 세 가지 view 구성 방식이 서로 체계적으로 다른 expert importance 할당 패턴을 보이며, 이러한 할당이 유사 환자 간에는 국소적으로 일관됨을 cohort-level 및 patient-level routing 분석을 통해 확인함.

How

Figure 2. Patient-level routing consistency.

• HCUP/NIS 2016–2020 성인 stroke 입원 데이터(129,401건)를 사용하고, 55개 ICD-10-CM 코드로 rigidity를 정의
• Model-level view: SAINT, NODE, DCN-V2로 전체 처리된 레코드를 인코딩하여 각기 다른 hidden representation을 별도의 unique expert에 전달
• Data-level view: 레코드를 administrative, procedure, diagnosis, clinical sign, ICD-indicator 그룹으로 분할해 각각 별도의 MLP unique expert로 인코딩
• Representation-level view: frozen GATv2(그래프), frozen NODE(tabular), frozen Qwen3-Embedding(구조화 텍스트 렌더링) 인코더로 얻은 임베딩을 I2MoE로 융합
• I2MoE의 Full, No Synergy, No Redundancy, No S&R 설정을 비교하여 AUROC, AUPRC, F1로 성능 평가
• Cohort-level 및 patient-level routing attribution 분석으로 view별 expert importance의 재훈련 간 일관성과 유사 환자 간 국소적 일관성을 검증

Originality

• 단일 modality인 구조화 의료 레코드를 model-level, data-level, representation-level이라는 세 가지 상이한 관점에서 view로 재구성한다는 아이디어가 참신함
• 기존 PID 및 I2MoE는 본질적으로 이질적인 modality(이미지-텍스트 등) 융합에 주로 적용되었으나, 이를 동일 원천에서 파생된 view들 사이의 상호작용 분석에 적용한 점이 독창적임
• 성능 향상이 아니라 routing attribution을 해석가능성의 렌즈로 활용하여 view 구성 자체를 설계 선택(design choice)으로 재조명한 점

Limitation & Further Study

• 예측 성능 개선이 대부분의 설정에서 통계적으로 미미하거나 유의하지 않아, interaction-aware 모델링의 실질적 이점이 제한적임
• 단일 코호트(HCUP/NIS stroke)와 단일 태스크(post-stroke rigidity)에 대해서만 검증되어 다른 질환이나 데이터셋에 대한 일반화 가능성이 불분명함
• routing attribution의 해석가능성 주장이 정성적 분석에 크게 의존하며, 임상적으로 의미있는 해석인지에 대한 전문가 검증이 부족해 보임
• representation-level view에서 사용된 frozen encoder(GATv2, NODE, Qwen3-Embedding)의 사전학습 방식이 최종 성능과 해석에 미치는 영향에 대한 ablation이 제한적임
• 후속 연구로 다양한 임상 태스크와 코호트에 대한 검증, 그리고 routing 기반 설명의 임상적 타당성에 대한 정량적 평가가 필요함

Evaluation

총평: 구조화 의료 데이터에 대해 다단계 view 구성과 interaction-aware MoE를 결합한 시도는 흥미롭고 해석가능성 측면에서 유의미한 관찰을 제공하지만, 예측 성능 향상이 미미해 실질적 임팩트는 제한적이며 추가적인 임상 검증이 필요한 preliminary work로 판단된다.