How to gain valuable insight from scarce data with Machine Learning: a post-hoc explanation tool to identify biases in biological images classification

Motivation

• Known: 소규모 생의학 이미지 데이터셋은 ML 모델 훈련에 제약을 주며, DL 모델은 데이터 편향에 취약하다는 것이 알려져 있다. 또한 사후 설명 방법은 모델 해석성을 높이는 데 효과적이다.
• Gap: 제한된 데이터 환경에서 과적합된 모델이 학습한 허위 상관관계를 체계적으로 식별하고, 이를 통해 숨겨진 편향과 실제로 학습 가능한 생물학적 정보를 구분하는 방법론이 부족하다.
• Why: 소규모 생의학 데이터셋에서 ML을 적용할 때, 모델이 겉으로는 좋은 성능을 보이지만 실제로는 허위 상관관계에 기반하는 과적합 문제는 심각하며, 이를 진단하고 개선하는 방법은 생의학 연구의 신뢰성과 재현성을 크게 향상시킬 수 있다.
• Approach: 재생 vs. 반흔 조직을 분류하는 이진 분류 모델(ResNet, SqueezeNet, VGG, XGBoost)을 훈련한 후, SHAP를 이용한 사후 설명 분석으로 모델의 결정 근거를 추출하고, 개별 마우스 분류 작업을 수행하여 과적합의 원인을 규명한다. 최종적으로 상해 후 경과 시간 분류라는 재정의된 작업으로 모델이 실제로 학습 가능한 생물학적 신호를 검증한다.

Achievement

Figure 1. Regenerating/scarring classification with deep neural networks

• 이진 분류 실패 진단: 훈련/검증 정확도 0.75-0.97에도 불구하고 테스트 정확도 0.5(무작위 수준)로 나타나는 심각한 과적합 식별
• SHAP 분석을 통한 편향 규명: 모델이 조직 외형이 아닌 개별 마우스의 특성(미세한 이미지 서명)을 인식하는 허위 상관관계 식별
• 마우스 개별 인식 검증: 개별 마우스 분류 모델이 높은 정확도를 달성하여 모델 과적합의 원인이 개별 특성 인식임을 증명
• 생물학적 신호 추출: 경과 시간 분류(3일 vs. 10일) 작업에서 정확도 71-97%를 달성하여 데이터에서 실제로 학습 가능한 생물학적 정보 존재 입증
• 방법론적 기여: 설명 가능성(explainability) 분석을 통해 소규모 데이터셋의 숨겨진 편향을 진단하고 실질적인 학습 목표를 재설정하는 방법론 제시

How

Figure 1. Regenerating/scarring classification with deep neural networks

• 다양한 신경망 아키텍처(ResNet, SqueezeNet, VGG)와 XGBoost 모델을 5-fold cross-validation으로 훈련하고 독립적 테스트 세트에서 평가
• SHAP 기반 특성 기여도 분석으로 모델이 분류에 사용하는 이미지 영역과 특성을 가시화
• 모델 혼동 행렬과 SHAP 설명을 결합하여 개별 마우스 인식 가설 수립
• 개별 마우스 분류 작업으로 과적합 원인 검증 및 마우스 그룹화 패턴 분석
• 재정의된 이진 분류 작업(경과 시간)으로 데이터 정렬 조건에서 모델의 학습 능력 재검증

Originality

• SHAP 설명 방법을 단순한 모델 해석을 넘어 소규모 생의학 데이터셋의 구조적 편향 진단 도구로 창의적으로 활용
• 과적합된 모델의 혼동 행렬을 역으로 해석하여 모델이 실제로 학습한 개념(개별 인식)을 규명하는 새로운 진단 방법론
• 모델 실패 원인을 단순히 데이터 부족으로 결론짓지 않고, 작업 정의와 데이터 정렬의 중요성을 체계적으로 입증

Limitation & Further Study

• 제한된 샘플 크기: 마우스 수와 이미지 수가 명시되지 않았으나 매우 소규모인 것으로 보임
• 단일 조직 유형: 마우스 조직만 대상이며 다른 생물학적 이미지 도메인으로의 일반화 가능성 미검증
• SHAP 방법의 계산 비용: 복잡한 DL 모델의 SHAP 설명 계산에 대한 효율성 논의 부재
• 다른 설명 가능성 방법의 비교 부족: SHAP만 사용하여 다른 사후 분석 방법과의 비교 검증 미흡
• 후속 연구: 더 큰 데이터셋이나 다양한 생의학 이미지 도메인에서의 방법론 검증 필요

Evaluation

총평: 본 논문은 소규모 생의학 이미지 데이터셋에서 머신러닝 모델의 과적합과 편향을 진단하는 실질적이고 창의적인 방법론을 제시한다. SHAP 기반 설명 분석을 활용하여 모델이 겉으로는 좋은 성능을 보이지만 실제로는 허위 상관관계를 학습하는 문제를 체계적으로 규명하고, 작업 재정의를 통해 데이터에서 실제로 추출 가능한 생물학적 정보를 식별한다. 생의학 연구에서 데이터 부족의 현실적 제약 하에서 ML을 신뢰성 있게 적용하기 위한 중요한 통찰을 제공하나, 단일 조직 유형과 소규모 샘플로 인한 일반화 제약이 있다.