How Should Transformers Encode Numeric Values in Electronic Health Records?

Motivation

• Known: BEHRT, Med-BERT 등 BERT 스타일 transformer가 EHR 예측에 널리 사용되고 있으나 대부분 진단·처치·약물 코드 등 범주형 데이터에 집중하며, 검사 수치와 같은 연속형(numeric) 데이터는 상대적으로 덜 활용되고 있다. TabTransformer, FT-Transformer, SAINT, xVal, Labrador 등 numeric value를 encoding하는 다양한 방법들이 제안되었다.
• Gap: 기존 연구들은 서로 다른 architecture, 데이터 모달리티, 평가 프로토콜을 사용해 numeric encoding 전략을 제안했지만 직접적인 비교가 어렵고, 각 방법이 어떤 임상적 조건(단일 측정값의 중요성, 값들의 결합적 의미, 시간적 추세 등)에서 성공하거나 실패하는지에 대한 체계적 분석이 부족하다.
• Why: 검사 수치(lab value)는 임상의의 추가 문서화 없이 routine하게 수집되어 주관적 편향이 적고 풍부한 정보원임에도, 이를 EHR transformer에 어떻게 encoding해야 하는지에 대한 명확한 지침이 없어 실제 임상 적용 시 모델 설계 의사결정에 어려움을 주고 있다.
• Approach: 실제 EHR 시퀀스에 삽입된 synthetic arithmetic task와 real-world 임상 예측 task로 구성된 통합 평가 프레임워크를 구축하여, discrete/continuous/hybrid numeric value encoding 전략들을 CORE-BEHRT 기반 BERT-style 아키텍처에서 체계적으로 비교한다.

Achievement

1. 통합 평가 프레임워크 구축: EHR transformer에서 numeric reasoning을 체계적으로 평가할 수 있는 재사용 가능한 test suite를 제시하며, 실제 EHR 시퀀스에 삽입된 synthetic arithmetic task와 real-world 임상 예측 task를 결합해 통제된 조건에서 numeric reasoning 능력을 분석한다.
2. numeric value encoding 방식의 체계적 비교: discrete, continuous, hybrid encoding 방식을 numeric precision, optimisation stability, architectural flexibility 관점에서 특징화한다.
3. precision-stability trade-off 규명: value-concept interaction을 명시적으로 모델링하는 방식이 정밀도에 민감한 arithmetic task에서 architectural 제약이 허용될 때 가장 우수한 성능을 보이며, binning을 적용한 hybrid token 기반 접근법이 더 견고하고 확장 가능한 대안임을 보인다. 최적 bin 개수는 데이터셋 크기에 대한 power-law를 따른다.
4. robust approximate numeric reasoning의 증거 제시: 모든 평가 방법이 정확한 arithmetic이 아닌 신뢰할 수 있는 “good enough” 수준의 근사 numeric computation을 안정적으로 수행하며, task 복잡도 증가에 따라 급격한 실패가 아닌 완만한 성능 저하를 보인다.
5. 임상 예측에서의 numeric reasoning 함의 제시: 장기 위험 예측에서 numeric value(lab value) 도입에 따른 임상적 이득이 미미하고 task-dependent함을 보여, encoding 선택이 예측 성능 향상보다는 robustness와 deployability에 주로 영향을 미친다는 점을 시사한다.

How

• Danish Capital Region 및 Region Zealand의 2016~2024년 EHR 데이터(약 221만 명)를 사용
• CORE-BEHRT 기반 BERT-style transformer 아키텍처를 채택하고 numeric encoding 모듈만 교체
• discrete(binning 후 토큰화), continuous(값을 직접 embedding에 반영), hybrid(binning 후 numeric value를 함께 projection) 등 5가지 numeric-integration 전략을 비교
• 실제 EHR 시퀀스에 삽입된 synthetic arithmetic task(예: 덧셈, 분류 등)를 통해 numeric precision과 optimisation stability를 통제된 환경에서 평가
• 데이터셋 크기에 따른 최적 bin 수를 실험적으로 도출하여 power-law fitting 수행
• real-world 임상 예측 task에서 lab value 포함 여부에 따른 downstream 성능 비교

Originality

• 서로 다른 architecture와 평가 프로토콜로 분산되어 있던 numeric value encoding 기법들을 하나의 통일된 test suite로 통합하여 직접 비교 가능하게 함
• synthetic arithmetic task를 실제 EHR 시퀀스에 embedding하여 controlled complexity 조작과 real-world noise를 동시에 반영하는 독창적 평가 설계
• 최적 bin 개수가 데이터셋 크기에 대한 power-law를 따른다는 실증적 스케일링 법칙 발견
• transformer의 numeric reasoning이 정확한 연산이 아닌 “good enough” approximate computation이라는 관점을 제시하며, 이를 EHR 임상 예측의 실용적 맥락과 연결

Limitation & Further Study

• 평가가 Danish 단일 의료 시스템 데이터에 기반하여 다른 국가/의료 시스템에 대한 일반화 가능성이 제한적일 수 있음
• 장기 위험 예측 task에 초점을 맞추어, 단기 예측(lab value가 진단/처방으로 아직 반영되지 않은 상황)에서는 결과가 다르게 나타날 수 있다고 저자들도 언급함
• synthetic arithmetic task가 실제 임상적 numeric reasoning의 복잡성(다중 변수 상호작용, 장기 추세 등)을 완전히 대표하는지에 대한 추가 검증 필요
• 후속 연구로 다양한 임상 시간 범위(short-term vs long-term)와 다양한 EHR 시스템에 대한 일반화 검증이 필요함

Evaluation

총평: EHR transformer에서 numeric value encoding 전략을 체계적이고 통제된 방식으로 비교 분석하여 실용적 지침(hybrid token-based binning 접근)을 제시한 견실한 실증 연구이며, 특히 최적 bin 수의 power-law 발견과 “good enough” numeric reasoning 관점은 실무자에게 유용한 통찰을 제공한다.