Aggregate Models, Not Explanations: Improving Feature Importance Estimation

Motivation

• Known: Rashomon effect로 알려진 것처럼 expressive 모델은 데이터 샘플링과 알고리즘적 확률성으로 인해 불안정한 feature importance 추정치를 낳으며, 이를 완화하기 위해 여러 모델의 importance score를 aggregate하는 방법(voting/bagging 기반 접근)이 기존 연구에서 사용되어 왔다.
• Gap: 기존 연구는 개별 모델의 explanation을 aggregate하는 것이 안정성을 개선한다는 것을 실증적으로 보였지만, feature importance 추정 오차를 공식적으로 분석하지 않았고, model-level ensemble을 explain하는 대안 전략과의 비교가 이론적으로 이루어지지 않아 두 전략 중 어느 것이 더 나은지에 대한 이해가 부족했다.
• Why: 생물의학 연구에서 치료 표적 발굴이나 바이오마커 개발과 같은 고위험 의사결정에 feature importance 방법이 활용되는데, 잘못된 aggregation 전략 선택은 부정확한 추정으로 이어져 과학적 발견의 신뢰성을 저해할 수 있으므로 올바른 ensembling 전략을 규명하는 것이 중요하다.
• Approach: Bottou & Bousquet의 approximation-estimation-optimization excess risk 분해 프레임워크를 확장하여, LOCO, SAGE, CFI, PFI, Integrated Gradients 등 다양한 model-agnostic feature importance measure에 대해 model-level ensembling과 explanation-level aggregation의 오차를 이론적으로 비교하고 UK Biobank 대규모 proteomic 데이터로 검증했다.

Achievement

Figure 2. Model-level ensembling reduces feature importance

1. 이론적 오차 분해: risk 및 excess risk를 approximation error(Eapp), estimation error(Eest), optimization error(Eopt)로 분해하고, 이를 feature importance 추정 오차와 연결하는 프레임워크를 modern complex ML 모델에 적용 가능하도록 완화된 가정 하에서 제시했다.
2. model-level ensembling의 우월성 입증: 기존 문헌과 달리, 특히 expressive 모델에서 model-level에서 예측을 ensemble한 뒤 이를 explain하는 것이 excess risk라는 leading error term을 줄여 개별 explanation을 aggregate하는 것보다 더 정확한 variable importance 추정을 제공함을 이론적·실증적으로 보였다.
3. 다양한 importance measure에 대한 체계적 비교: LOCO, marginal/conditional SAGE, CFI, PFI, Integrated Gradients 등 여러 measure에 걸쳐 aggregation 전략의 이점이 어떻게 달라지는지 규명했다.
4. 대규모 실증 검증: 고전적 벤치마크와 UK Biobank의 대규모 proteomic 코호트 데이터에 적용하여 이론적 통찰의 실용적 유용성을 확인하고 BMI에 대한 proteomic signature를 식별했다.

How

Figure 3. Bias-variance decomposition of feature importance es-

• risk 추정 오차를 test set 의존 항(A), excess risk(E), 이차 잔여항(rn)으로 분해하는 Williamson et al. (2023)의 프레임워크를 채택
• excess risk를 Bottou & Bousquet (2007) 프레임워크에 따라 Eapp(approximation error), Eest(estimation error, bagging으로 완화), Eopt(optimization error, voting으로 완화)로 추가 분해
• fens = (1/B)Σfb 형태의 model-level ensemble과, 개별 서브모델의 importance score를 평균 내는 sub-model aggregation 전략을 정의하고 loss function(MSE, cross-entropy 등)의 비선형성으로 인해 두 전략이 일반적으로 동등하지 않음을 수학적으로 증명
• LOCO, CFI, marginal/conditional SAGE, PFI, Integrated Gradients 각각에 대해 bias-variance 분해를 수행하여 두 aggregation 전략의 오차 구조를 비교
• classical benchmark 데이터셋과 UK Biobank의 대규모 proteomic 데이터(BMI 예측 과제)를 이용해 이론적 예측을 실증적으로 검증

Originality

• 기존에는 경험적으로만 다뤄지던 "explain single ensemble vs aggregate explanations" 질문을 excess risk 분해라는 통일된 이론적 틀 안에서 최초로 정식화하고 분석함
• feature importance measure의 비선형성 때문에 두 전략이 동등하지 않다는 점을 명시적으로 지적하고, 기존 문헌의 통념(개별 explanation aggregation이 우월하다는 암묵적 가정)을 뒤집는 반직관적 결론을 도출함
• Rashomon effect를 optimization error(Eopt) 및 estimation error(Eest)와 명시적으로 연결하여 불안정성의 근원을 정량적으로 규명함

Limitation & Further Study

• 이론 분석이 특정 완화된 가정 하에서 이루어졌으며, 실제 극도로 복잡한 딥러닝 아키텍처나 매우 높은 차원의 데이터에서 가정이 얼마나 타당한지에 대한 추가 검증이 필요함
• 분석 대상이 LOCO, SAGE, CFI, PFI, Integrated Gradients 등 특정 model-agnostic measure에 한정되어 있어, 다른 유형의 explanation 방법(e.g., attention 기반, gradient×input 등)에 대한 일반화 가능성은 추가 연구가 필요함
• ensemble 크기(B)나 계산 비용 대비 이득에 대한 실용적 가이드라인이 충분히 논의되지 않을 수 있어, 실제 대규모 배포 환경에서의 비용-효율 트레이드오프에 대한 후속 연구가 요구됨

Evaluation

총평: Rashomon effect 완화를 위한 두 가지 ensembling 전략을 excess risk 분해라는 명확한 이론적 틀로 비교하여 실무적으로 중요한 지침(model-level ensembling 우선)을 제공하는 견고한 연구이며, 생물의학 데이터에 대한 대규모 실증까지 갖춘 완성도 높은 논문이다.