Reinforcement Learning for Adaptive Tacrolimus Dosing with Drug-Drug Interaction Management

Motivation

• Known: tacrolimus는 좁은 therapeutic window(4-15 ng/mL)와 큰 개인간 PK 변동성을 가지며, 현재 표준 치료는 pre-dose trough 농도를 측정해 조정하는 therapeutic drug monitoring(TDM)이다. RL은 anticoagulant, vasopressor, insulin dosing 등 다른 약물 용량 조절 문제에 이미 적용되어 가능성을 보여준 바 있다.
• Gap: TDM은 반응적이고 지연된 방식이며 단순 proportional controller에 의존해 환자 상태의 비선형 동역학을 반영하지 못하고, 특히 CYP3A4 억제제에 의한 동적이고 시간에 따라 변화하는 DDI 관리는 기존 문헌에서 체계적인 계산적 지원 없이 정성적 권고에만 머물러 있어 근본적으로 다뤄지지 않은 문제이다.
• Why: tacrolimus는 고형장기 이식 환자에게 평생 투여되는 필수 면역억제제로, 용량 오류는 급성/만성 거부반응 또는 nephrotoxicity, neurotoxicity 등 심각한 부작용으로 이어질 수 있어, DDI를 고려한 적응형 용량 조절 알고리즘의 임상적 가치가 매우 크다.
• Approach: tacrolimus 용량 조절과 DDI 관리를 부분관측 순차적 의사결정 문제(POMDP)로 정식화하고, 은닉 PK 상태를 trough trajectory로부터 암묵적으로 추론하는 LSTM-augmented PPO(LSTM-PPO) 정책을 literature-calibrated mechanistic PK simulator에서 학습시켰다.

Achievement

Figure 2. EHR-grounded counterfactual simulation comparing observed EHR trough trajectories with simulated trough trajec

1. TITW 개선: LSTM-PPO 에이전트가 93.1%의 time in therapeutic window(TITW)를 달성하여 proportional TDM controller 대비 13.9 percentage-point 향상을 보였다.
2. 안전성 향상: memoryless ablation 대비 독성 농도 사건을 8배, 거부반응 위험을 6배 감소시켜, memory가 DDI 환자에서 극단적 농도 변동을 방지함을 입증했다.
3. EHR 기반 검증: Cedars-Sinai의 실제 6,394명 tacrolimus 환자 코호트에 대한 EHR-grounded counterfactual simulation에서 정책이 90.2% 시뮬레이션 TITW를 달성해 84.5%의 관찰된 임상 TITW를 능가했으며, 여러 인구통계학적·임상적 하위그룹에서도 일관되게 긍정적 차이를 보였다.

How

Figure 1. POMDP decision loop.

• gut absorption, central, peripheral compartment로 구성된 two-compartment PK model을 ODE 기반으로 구축하고, CYP3A4 억제를 reversible competitive inhibition과 mechanism-based inactivation(MBI)을 모두 반영해 apparent clearance(CL/F)에 시간가변적으로 반영
• fluconazole, verapamil, clarithromycin, erythromycin 네 가지 임상적으로 중요한 CYP3A4 inhibitor를 문헌 기반 파라미터로 모델링
• CYP3A5 genotype(1/1, 1/3, 3/3), log-normal clearance multiplier, weight-scaled volume of distribution, 그리고 bioavailability noise, assay imprecision, food effect, non-adherence 등 stochastic episode-level variability를 포함해 가상 환자 population을 샘플링
• 8차원 관측 벡터(정규화된 trough concentration, DDI active flag, episode day, 최근 5-step 용량 통계, 마지막 용량, DDI 시작 후 경과일, trough velocity)를 관측으로 사용하고, DDI drug identity, potency parameter(Ki, kinact, KI), 환자 PK parameter(CL, Vd), genotype, missed dose, 실제 CYP3A4 enzyme activity 등을 hidden state로 설정
• 7개의 discrete dose level(0.0~1.50배수, 12시간 간격, 45일/90 step 에피소드)로 action space 구성
• immediate trough reward(Robs)와 누적 episode reward(Rrange)를 결합한 reward function 설계, 임계 독성 구간에서는 categorical penalty 부여
• Stable-Baselines3-Contrib의 RecurrentPPO를 이용해 LSTM-PPO 학습, actor-critic 구조로 hidden state (ht, ct)를 belief state로 활용
• Constant Dose, Random, Proportional Controller, Model Predictive Control, PPO Vanilla(MLP) 등 5개 baseline과 비교
• 500,000 simulated step 평가 및 Cedars-Sinai OMOP cohort 6,394명에 대한 EHR-grounded counterfactual simulation으로 실제 데이터 기반 검증 수행

Originality

• tacrolimus dosing 문제를 CYP3A4 매개 DDI의 동적 특성까지 포함하여 POMDP로 최초로 정식화
• 기존 RL 기반 약물 용량 연구(anticoagulant, vasopressor, insulin)가 다루지 않은, 시간에 따라 변화하는 다중 억제제 메커니즘을 모델링하는 mechanistic PK simulator를 구축
• LSTM memory를 통해 은닉 PK 상태(genotype, enzyme activity 등)를 trough trajectory로부터 암묵적으로 추론하는 belief-state 기반 접근을 적용
• 시뮬레이션 학습 결과를 실제 EHR 코호트에 대한 counterfactual simulation으로 검증하여 simulation-to-real 격차를 정량적으로 제시

Limitation & Further Study

• PK simulator가 literature-calibrated parameter에 의존하므로, 실제 환자의 개별 PK 특성과 완전히 일치하지 않을 가능성이 있으며 모델 오류가 정책 학습에 편향을 줄 수 있음
• 네 가지 CYP3A4 inhibitor만을 다루어 실제 임상에서 발생 가능한 다양한 병용약물 조합이나 CYP3A5 이외의 유전적 변이는 반영하지 못함
• EHR 기반 검증이 counterfactual simulation에 그쳐, 실제 전향적(prospective) 임상시험을 통한 안전성·유효성 검증이 필요함
• reward function의 threshold 및 가중치 설정이 임의적일 수 있어, 실제 임상 의사결정 기준과의 정합성에 대한 추가 검토가 요구됨
• 후속 연구로는 실제 환자 데이터를 이용한 online learning, 다양한 inhibitor/inducer 조합에 대한 일반화, 그리고 실제 임상 파일럿 시험을 통한 검증이 필요함

Evaluation

총평: DDI를 고려한 tacrolimus 용량 조절을 POMDP로 정식화하고 LSTM-PPO를 통해 memory 기반 belief state 추론을 구현한 참신하고 임상적으로 중요한 연구이며, mechanistic simulator와 실제 EHR 코호트 기반 검증을 결합해 신뢰도를 높였으나 전향적 임상 검증이 향후 과제로 남는다.