Shifting a Molecular Generator Toward Developability with Iterative Importance Fine-Tuning

Motivation

• Known: GenMol과 같은 생성 모델은 masked discrete diffusion과 SAFE 토큰 표현을 활용해 de novo generation, hit identification, lead optimization 등 다양한 약물 설계 과제에서 효율적인 화학 공간 탐색을 가능하게 함이 알려져 있다. 또한 RL 기반 fine-tuning이나 GFlowNets와 같은 reward 기반 steering 방법들이 생성 모델을 특정 목적에 맞게 정렬하는 데 사용되어 왔다.
• Gap: 단일 목적(예: 단백질 결합력)에 대한 최적화는 종종 ADMET이나 합성 가능성과 같은 다른 핵심 특성을 저하시키며, 기존 RL 기반 fine-tuning은 불안정하고 reward hacking에 취약하며 diversity 저하와 distribution drift를 유발할 수 있다는 문제가 있다. 특히 drug discovery에서 reward 신호는 noisy하고 black-box이며 계산 비용이 큰 경우가 많아, differentiability를 요구하지 않으면서 다중 목적을 안정적으로 반영할 수 있는 fine-tuning 방법이 부재했다.
• Why: 다중 ADMET 및 합성 접근성 제약을 동시에 만족시키면서 표적 결합력을 개선하는 것은 실제 신약 개발 파이프라인에서 핵심적인 병목이며, differentiable하지 않은 black-box oracle을 안정적으로 활용해 생성 분포를 이동시킬 수 있는 방법은 실용적 가치가 크다.
• Approach: GenMol의 생성 분포를 IIFT라는 importance-weighted resampling 및 supervised regression 기반 반복적 post-training 기법으로 재구성하여, scalar reward만으로 differentiability 가정 없이 ADMET-favorable 혹은 synthetically accessible한 분자 쪽으로 분포를 이동시킨다.

Achievement

Figure 2. Multi-objective molecular optimization tasks comparing Viable and Tractable GenMol to the base model. (A) IIFT

1. Viable GenMol과 Tractable GenMol 개발: IIFT를 GenMol에 적용하여 ADMET 특성을 개선하는 Viable GenMol과 합성 접근성을 개선하는 Tractable GenMol이라는 두 분포 이동 변형 모델을 구축하였다.
2. 세 가지 생성 시나리오에서 재현 가능한 개선: de novo generation, hit identification, lead optimization 전 영역에서 drug-likeness, synthetic accessibility, molecular diversity를 유지하면서 목표 특성이 개선됨을 검증하였다.
3. Binding free energy 계산을 통한 검증: 선정된 tractable lead-optimized 후보 분자에 대해 binding free energy 계산을 수행하여 분자 친화도 개선을 물리 기반으로 확인하였다.
4. Black-box reward 함수 활용: differentiability를 요구하지 않는 IIFT의 특성을 활용하여 ADMET 및 retrosynthetic accessibility와 같은 black-box oracle 함수를 fine-tuning 과정에 통합하였다.

How

Figure 1. Overview of the GenMol-IIFT workflow. A masked molecular sequence is generated with GenMol’s discrete diffusio

• GenMol의 masked discrete diffusion 프레임워크와 SAFE 토큰 기반 분자 표현을 기반으로 de novo generation, hit identification(fragment remasking을 통한 substructure 최적화 미포함), lead optimization(fragment remasking 및 molecular context guidance)을 수행
• IIFT를 적용하여 현재 모델로부터 trajectory를 샘플링하고, 외부 reward 함수(ADMET 오라클, 합성 접근성 오라클)로 평가한 후 reward-tilted distribution에 따라 accept/reject를 반복
• accept된 샘플들을 replay buffer에 축적하고, 이를 이용해 supervised diffusion objective로 모델을 점진적으로 업데이트하여 reward가 높은 영역으로 분포를 이동
• Viable GenMol(ADMET 지향)과 Tractable GenMol(합성 접근성 지향) 두 변형을 각각의 reward 함수로 별도 학습
• de novo generation, hit identification, lead optimization 세 과제에서 baseline GenMol 대비 성능, drug-likeness, diversity를 비교 평가
• lead optimization에서 선택된 tractable 후보에 대해 docking 및 binding free energy 계산으로 물리적 타당성 검증

Originality

• 기존에 저차원 샘플링, class-conditional MNIST, text-to-image 생성에서만 검증되었던 IIFT를 분자 생성이라는 새로운 도메인, 특히 discrete diffusion 기반 SAFE 토큰 분자 생성 모델(GenMol)에 최초로 적용
• RL 기반 fine-tuning이나 GFlowNets와 달리, importance-weighted resampling과 supervised regression만으로 differentiable하지 않은 black-box ADMET/synthesizability 오라클을 다중 목적 최적화에 통합하는 실용적 프레임워크 제시
• 단일 목적 최적화가 다른 특성을 저하시키는 문제를 다중 목적 관점에서 명시적으로 다루며, de novo/hit identification/lead optimization 세 가지 실제 신약 개발 워크플로우 전반에 걸쳐 일관된 개선을 입증

Limitation & Further Study

• ADMET reward나 synthetic accessibility 오라클 자체가 근사적이고 학습된 predictor에 의존할 경우, 이 오라클의 편향이나 부정확성이 IIFT를 통해 생성 모델에 그대로 전이될 위험이 있음
• 논문 발췌 범위에서는 binding free energy 계산이 소수의 선택된 후보에 대해서만 수행된 것으로 보이며, 실험적 검증(실제 합성 및 어세이)이 부재하여 in silico 검증에 그침
• 두 목적(ADMET, synthesizability)을 별도 모델로 분리하여 학습했는데, 두 목적을 동시에 반영하는 단일 통합 모델로의 확장 가능성 및 이때의 trade-off 분석이 후속 연구로 필요
• IIFT의 반복 횟수, replay buffer 크기 등 하이퍼파라미터가 최종 분포 이동의 안정성과 diversity 보존에 미치는 영향에 대한 심층 분석이 추가로 필요

Evaluation

총평: RL 기반 방법의 불안정성과 reward hacking 문제를 우회하면서 black-box 다중 목적 오라클을 활용해 실용적인 신약 개발 제약을 반영한 분자 생성 분포 이동 방법을 제시한 견실한 연구로, GenMol 생태계에 IIFT를 성공적으로 이식한 응용적 기여가 돋보인다. 다만 오라클 신뢰성과 다중 목적 통합 모델로의 확장 가능성에 대한 추가 검증이 향후 요구된다.