Steering Large Language Models through the DMTA Cycle: Structure-Based Drug Design via Knowledge-Driven Bi-Level Thompson Sampling

Motivation

• Known: 기존 딥러닝 기반 SBDD 모델(VAE, autoregressive model, diffusion model 등)은 결합 친화도가 높은 분자를 생성하는 데 강력한 성능을 보였으나, one-shot generation 방식으로 동작하여 순차적 피드백을 다루지 못한다. LLM은 강력한 instruction-following과 reasoning, 화학적 사전지식을 갖추어 DMTA cycle을 닫을 수 있는 잠재력이 있는 것으로 알려져 있다.
• Gap: 기존 LLM 기반 SBDD 방법은 (1) 유망한 분자 계보와 저잠재력 후보를 구분하지 못하는 Policy Disconnect, (2) 화학적 수정 의도가 블랙박스 token generation 속에 암묵적으로만 존재하는 Translation Disconnect, (3) 희소한 scalar docking score로 인해 세밀한 credit assignment가 불가능한 Feedback Disconnect라는 세 가지 구조적 단절 때문에 DMTA loop를 완전히 닫지 못한다.
• Why: SBDD는 신약 발굴의 핵심 과제이며, 실제 의약화학에서 고친화도 후보는 DMTA cycle을 통한 반복적 정제로 얻어지는데, 이 인간 전문가의 워크플로우를 LLM으로 자동화하고 폐루프화할 수 있다면 분자 최적화의 효율성과 해석가능성을 크게 높일 수 있다.
• Approach: SBDD를 molecular lineage를 arm으로 하는 upper-level bandit과 화학 규칙을 arm으로 하는 lower-level bandit으로 분리한 D-HMAB로 formalize하고, Bayesian update를 통해 sparse docking score를 재사용 가능한 경험(지식베이스)으로 변환하여 LLM 생성을 안내한다.

Achievement

1. DMTA 정합적 이론 정식화: LLM 기반 분자 최적화를 D-HMAB로 재정의하여 static generation에서 rigorous sequential decision-making으로 패러다임을 전환하는 원칙적 기반을 확립.
2. K-BTS 프레임워크 제안: seed 선택과 modification 검색을 조율하는 bi-level Bayesian strategy를 통해 비집중적 탐색을 방향성 있는 탐색으로 전환.
3. State-of-the-art 성능 달성: CrossDocked2020 benchmark에서 8개의 경쟁 baseline을 능가하는 Top-1 average docking score를 달성하고, 구조적 변화와 결합 친화도 개선이 동기화되는 부드럽고 단조로운 수렴을 보임.

How

• 분자 pool Pk을 상태로 하는 D-HMAB로 iterative SBDD를 formalize: 각 iteration마다 Design(seed 선택)과 Make(수정 방식 결정) 두 단계 결정을 수행.
• Upper-level Bayesian seed selection: 각 molecular lineage를 arm으로 취급하여 Thompson Sampling으로 고잠재력 seed 분자를 우선순위화하고 exploration-exploitation 자원 배분을 최적화.
• Lower-level explicit action retrieval: 동적 knowledge base에서 구조화된 chemical rule(action)을 검색하여 LLM 생성을 명시적이고 해석 가능한 제약으로 anchoring.
• Knowledge Extraction and Warm-start: 초기 분자 pool P0을 scaffold 기준으로 clustering하고 intra-cluster modification을 시뮬레이션하여 knowledge base를 warm-start.
• Dual-level Bayesian update: scalar docking feedback(Δy)을 rule 단위와 lineage 단위로 분해하여 α, β를 업데이트함으로써 fine-grained credit assignment를 수행하고 raw simulation 데이터를 reusable experience로 변환.
• LLM은 chain-of-thought(COT) rationale을 활용해 seed와 retrieval된 action을 바탕으로 실제 분자 수정(예: -OH를 -CF3로 치환)을 수행.

Originality

• SBDD를 static one-shot generation이 아닌 DMTA cycle에 정합하는 Dynamic Hierarchical Multi-Armed Bandit 문제로 formalize한 최초의 시도.
• 기존 LLM 기반 분자 최적화 연구에서 지적되지 않았던 Policy/Translation/Feedback Disconnect라는 세 가지 구조적 단절을 명시적으로 정의하고 이를 해결하는 bi-level Bayesian 구조를 설계.
• scalar docking score라는 희소 신호를 knowledge base 형태의 재사용 가능한 경험으로 변환하는 dual-level Bayesian update 메커니즘을 제안하여 credit assignment 문제를 완화.

Limitation & Further Study

• Bayesian bandit 프레임워크가 knowledge base의 scaffold clustering 및 warm-start 품질에 크게 의존할 수 있어, 초기 pool의 다양성이 부족한 target에 대한 일반화 성능이 불확실함.
• docking score를 유일한 reward 신호로 사용하고 있어 synthesizability, toxicity 등 실제 신약 개발에서 중요한 다른 속성에 대한 고려가 제한적일 수 있음.
• LLM의 chain-of-thought rationale에 의존한 실제 분자 수정 실행이 항상 화학적으로 타당한지에 대한 엄밀한 검증(예: 합성 가능성 검증)이 본문 발췌에서는 충분히 다뤄지지 않음.
• 후속 연구로는 다중 목적(multi-objective) 보상 신호로의 확장 및 다양한 target class에 대한 일반화 검증이 필요해 보임.

Evaluation

총평: DMTA cycle과 LLM 기반 SBDD를 계층적 bandit 문제로 연결한 참신하고 체계적인 시도로, 이론적 정식화와 실험적 성능 개선이 모두 설득력 있게 제시된 우수한 연구이다.