Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents

Motivation

• Known: 기존 임상시험 관련 머신러닝 연구는 주로 사전에 정의된 trial의 성공 여부 예측이나 환자-trial matching과 같은 하위 문제에 집중해왔으며, offline RL과 sequence modeling은 고정된 로그 데이터로부터 정책을 학습하는 방법론으로 발전해왔다.
• Gap: Sponsor가 다음에 어떤 trial portfolio를 launch할지 결정하는 상위 수준의 전략적 의사결정 문제는 다뤄지지 않았으며, heterogeneous하고 지연된 outcome을 가진 실제 임상개발 이력을 offline decision-making 데이터로 구조화한 선행 연구가 없었다.
• Why: 임상 개발은 불확실성 하의 순차적 의사결정 문제로서, 신약 개발 전략을 데이터 기반으로 학습할 수 있다면 sponsor의 포트폴리오 계획을 지원하고 자원 배분을 개선할 잠재력이 크다.
• Approach: Oncology 약물 프로그램의 6개월 단위 window마다 결정 시점 이전 정보만을 state로 사용해 다음 trial portfolio(action)를 예측하도록 하고, downstream 실제 outcome(승인, 실패, 매출)으로부터 도출한 reward를 활용해 네 가지 offline objective로 Qwen-2.5-7B-Instruct를 QLoRA로 fine-tuning한 뒤 date-gated retrieval을 사용하는 frontier LLM agent들과 비교한다.

Achievement

Figure 1. Results are reported as windows-weighted means across

1. 오염 검증이 가능한 held-out 성능 우위: 2025년 8월 이후 데이터로 구성된 contamination-clean holdout에서 offline 학습 모델이 40.8–51.4%의 indication F1을 달성하여, 가장 강력한 tool-augmented LLM agent의 17.7%를 크게 상회했다.
2. Value-based objective의 일관된 우수성: 네 가지 offline objective 중 implicit Q-learning(IQL)이 모든 split에서 가장 강력했으며, indication·phase·strategy를 모두 정확히 복원하는 완전 일치율 20.3%를 기록하고 autoregressive rollout 환경에서도 최고 성능을 유지했다.
3. 대규모 시계열 데이터셋 구축: 31.7k개의 이질적 공개 레코드(trial registry, 규제 리뷰, sponsor filing, 이용 데이터, 역학 데이터)를 결합해 45개 프로그램, 881개 offline decision episode, 1,956개 launch action, 27k 구조화 필드로 구성된 데이터셋을 구축했다.

How

Figure 3. Indication F1 versus Strict F1 across methods on the full held-out set (n=432). Higher and more rightward is b

• ClinicalTrials.gov, Drugs@FDA, SEC EDGAR, CMS Part D, SEER 등 5개 공개 소스 스트림에서 데이터를 수집하고 NCT 식별자·trial acronym·sponsor-scoped fallback 규칙으로 FDA 승인 결과를 지지 trial에 연결하는 approval linker를 구축한다.
• 각 (state, action, reward) triple을 6개월 단위 program-window로 구성하고, 14개 field로 이루어진 JSON Schema로 trial action을 구조화하여 decode-time에 스키마를 강제 적용한다.
• Drug/sponsor/drug-class/temporal 기준의 8개 held-out split(예: tagrisso, gleevec, AstraZeneca 계열, PD-1/PD-L1 계열, post-Sept 2024, post-Aug 2025)을 구성해 다양한 일반화 축을 평가한다.
• Behavioral cloning(가중치 1.0 균등 imitation), reward-weighted BC(규칙 기반 per-trial reward $r_i = 2a_i - f_i + \log(1+rev_i)$를 표준화해 clipped sampling weight로 변환), learned-reward BC(고정 계수 대신 trial-design feature로부터 reward를 회귀 학습), IQL(expectile regression으로 state-value $V_\psi(s)$를 추정하고 $Q_\phi(s,a) = R_{p,t} + \gamma V_\psi(s')$로 advantage 기반 재가중)의 4가지 objective로 동일한 Qwen-2.5-7B-Instruct 백본을 QLoRA fine-tuning한다.
• 동일한 date-gated retrieval scaffold를 공유하는 4개 frontier LLM agent(GPT-5.4, Opus 4.5 등)와 per-dimension F1 및 Strict F1 지표로 비교한다.

Originality

• 임상시험 성공 예측이나 환자 매칭이 아닌, sponsor의 다음 trial portfolio를 예측하는 상위 전략적 의사결정 문제를 새롭게 정식화했다.
• 이질적인 5개 공개 소스를 NCT 식별자 매칭 기반 approval linker로 통합하여 지연된 규제·상업적 outcome을 초기 launch 결정에 소급 귀속시키는 데이터 파이프라인을 설계했다.
• Advantage-weighted regression 계열의 오프라인 RL 기법(IQL)을 clinical-trial portfolio라는 구조화된 action space와 date-gated 시계열 설정에 최초로 적용했다.
• Date-gated retrieval scaffold를 공유하는 조건 하에서 fine-tuned offline policy와 frontier LLM agent를 동일 기준으로 비교하는 벤치마크를 제시했다.

Limitation & Further Study

• 데이터셋이 45개 프로그램·881개 episode로 비교적 소규모이며 oncology 영역에 국한되어 있어, 다른 치료 영역이나 더 넓은 sponsor 다양성에 대한 일반화 가능성이 제한적이다.
• Reward 정의(승인·실패·매출 기반 per-trial credit assignment)가 임상 전략의 성공을 얼마나 잘 대리(proxy)하는지에 대한 타당성 검증이 제한적이며, 복잡한 실제 sponsor 의사결정 동기(리스크 관리, 규제 전략 등)를 완전히 포착하지 못할 수 있다.
• Autoregressive rollout 환경에서의 장기 성능과 실제 배포 시 발생할 수 있는 compounding error에 대한 심층 분석이 추가로 필요하다.
• 향후 연구로 다른 치료 영역으로의 확장, 더 정교한 reward shaping, 그리고 human sponsor와의 상호작용을 포함하는 online/interactive 평가로의 확장이 제안될 수 있다.

Evaluation

총평: 임상 개발 전략이라는 새로운 문제 설정을 정교한 데이터 파이프라인과 offline RL 기법으로 다루어 frontier LLM agent 대비 명확한 성능 우위를 입증한 견고한 연구로, 데이터 규모의 한계에도 불구하고 향후 clinical-agent 연구의 중요한 초석이 될 수 있다.