Pretrained Medical Representations for the Practical Screening of Drug Repositioning Candidates

Motivation

• Known: 전자의무기록(EHR)과 의료 청구 데이터의 medical code sequence에 대한 representation learning은 질병 예측, 약물 추천 등 다양한 임상 응용에서 성공적으로 활용되어 왔으며, BEHRT, MED-BERT, ExBEHRT 등 BERT 기반 모델들이 이러한 분야에서 발전해 왔다.
• Gap: 기존 BERT 기반 모델들은 ICD-10과 같은 medical code의 계층적 구조를 충분히 포착하지 못하고, 진단과 치료(procedure, prescription) 간의 복잡한 상호작용을 명시적으로 모델링하지 못하며, 표준 MLM은 세분화된 의료 코드 예측에 비효율적이라는 한계가 있다. 또한 hypothesis generation에는 풍부한 처방 이력 정보가 유리하지만 hypothesis prioritization(propensity score 기반 검증)에는 이러한 과도한 인코딩이 오히려 강건성을 해친다는 표현 간 긴장(tension)이 존재한다.
• Why: 인과추론 기반 drug repositioning 방법론은 강력하지만 계산 비용이 크고 대규모 후보 약물에 대해 확장하기 어렵기 때문에, 사전학습된 representation을 활용해 유망 후보를 저비용으로 사전 선별하는 실용적 스크리닝 프레임워크는 후속 정밀 인과추론의 효율성을 크게 높일 수 있다는 점에서 중요하다.
• Approach: Hierarchical Sub-token Aggregation(HSA), Partial Masking(PM), Cross-Reference(CR) 메커니즘을 통합한 새로운 사전학습 프레임워크를 제안하고, 이로부터 얻은 표현을 hypothesis generation과 Task-Adaptive Representation Approach(TARA) 기반 hypothesis prioritization에 순차적으로 적용하는 in silico drug repositioning 워크플로우를 구축했다.

Achievement

Figure 2. Performance of CBPS-based prognostic score match-

1. 통합 사전학습 프레임워크 제안: HSA, PM, CR을 결합한 모델이 기존 벤치마크 대비 사전학습 목표와 downstream 임상 이벤트 예측(치매 발병, 입원) 과제 모두에서 일관되게 우수한 성능을 보였다.
2. 데이터 기반 hypothesis generation 성공: 문헌 등 외부 지식 없이도 사전학습된 표현만으로 알츠하이머병에 대해 알려진 유망 약물(예: pitavastatin)을 재발견했다.
3. TARA를 통한 hypothesis prioritization 개선: 진단 벡터 내 처방 이력 정보의 과도한 인코딩 문제를 완화하는 Task-Adaptive Representation Approach를 도입해, propensity score 기반 우선순위화의 강건성을 확보했다.
4. 실용적 스크리닝 워크플로우 확립: 비용이 큰 인과추론 이전 단계에서 유망 후보를 효율적으로 선별하는 exploratory workflow를 제시했다.

How

Figure 1. Overview of our proposed architecture and methods.

• Hierarchical Sub-token Aggregation (HSA): 각 medical token을 5개의 sub-token으로 분해하고 Transformer encoder로 계층적 관계를 학습, 이후 동일 토큰에 속한 sub-token 표현을 합산하여 진단/처치/처방 토큰 시퀀스를 구성.
• Partial Masking (PM): 시퀀스 내 15%의 토큰을 MLM 대상으로 선정하고, sub-token 단위로 80% partial masking(1번째 sub-token만 유지), 10% full masking, 10% 변경 없음을 적용하여 계층의 중간 레벨(3번째 sub-token)을 예측하도록 학습, 표준 MLM 대비 학습 효율성 개선.
• Cross-Reference (CR) Block: 양방향 cross-attention을 통해 진단 시퀀스와 치료(procedure+prescription) 시퀀스 간 상호작용을 명시적으로 모델링.
• 모델 아키텍처: Embedding Block, Medical Code Representation Block, Transformer Encoder Block, CR Block, Prediction Head의 5개 블록으로 구성되며, 성별·연령 등 insurance qualification data도 함께 반영.
• 평가: (i) MLM 기반 사전학습 성능, (ii) 치매 발병 및 입원 예측 downstream task로 일반화 성능 평가, (iii) 알츠하이머병 대상 in silico drug repositioning 사례연구(hypothesis generation 및 TARA 기반 prioritization)로 실제 적용 가능성 검증.

Originality

• 기존 BEHRT, MED-BERT, ExBEHRT 등이 다루지 못한 medical code의 계층 구조와 진단-치료 상호작용을 HSA와 CR 메커니즘으로 통합적으로 모델링한 새로운 사전학습 프레임워크를 제시.
• 표준 MLM의 세분화 코드 예측 비효율성을 해결하기 위한 sub-token 단위 Partial Masking 전략 고안.
• Hypothesis generation(신호 탐지)과 hypothesis prioritization(검증) 간에 요구되는 표현 특성이 상충한다는 점을 명시적으로 포착하고, 이를 완화하는 Task-Adaptive Representation Approach(TARA)를 새롭게 제안.
• 단순 예측 성능 향상을 넘어, representation learning을 costly causal inference 이전의 실용적 drug repositioning 스크리닝 워크플로우로 확장한 응용적 독창성.

Limitation & Further Study

• Alzheimer's disease에 대한 단일 사례연구(pitavastatin 등)로 검증되었으며, 다른 질환이나 더 넓은 약물 후보군에 대한 일반화 가능성은 추가 검증이 필요.
• 본 프레임워크는 관찰적 연관성(observational association)에 기반하므로 저자들도 명시하듯 인과적 증거를 제공하지 않으며, 최종적으로는 별도의 엄밀한 인과추론이 반드시 뒤따라야 함.
• TARA가 처방 이력의 과도한 인코딩을 완화하는 구체적 메커니즘과 그로 인한 표현력 손실 간의 trade-off에 대한 정량적 분석이 본문 발췌에서는 충분히 제시되지 않음.
• 실제 임상 청구 데이터의 편향(예: 처방 패턴의 지역/시대적 차이)이나 결측치 등이 hypothesis generation 결과에 미치는 영향에 대한 논의가 부족해 보임.
• 향후 연구로 다양한 질환·약물 조합에 대한 워크플로우의 확장성 검증과, 실제 인과추론 결과와의 일치도 비교가 필요.

Evaluation

총평: 의료 코드의 계층 구조와 진단-치료 상호작용을 명시적으로 반영한 사전학습 설계와, hypothesis generation과 prioritization 간의 표현 긴장을 해소하는 TARA 도입이 신선하며, 실제 drug repositioning 사례를 통해 실용성을 입증한 점에서 응용 가치가 높은 연구이다.