Synthesizable Molecular Generation via Soft-constrained GFlowNets with Rich Chemical Priors

Motivation

• Known: GFlowNets는 unnormalized reward에 비례하여 다양한 후보를 샘플링할 수 있는 확률적 프레임워크로 약물 발견의 multi-modal 목적에 적합하며, 합성가능성을 보장하기 위해 reaction template과 building block 기반의 state/action space를 설계하는 reaction-based GFlowNet 연구들이 제안되었다.
• Gap: 기존 reaction-based GFlowNet은 combinatorial action space로 인해 라이브러리 크기에 따라 확장성이 떨어지고, 고정된 합성가능성 개념을 인코딩하여 유연성이 부족하며, 대규모 화학 언어 코퍼스로 사전학습된 foundation model의 풍부한 화학적 prior를 활용하기 어렵다는 한계가 있다.
• Why: 합성 불가능한 분자를 생성하는 문제는 실험실 검증 단계에서 생성모델의 실용성을 심각하게 제한하므로, 유연하고 확장 가능하면서도 고합성가능성을 보장하는 생성 프레임워크는 실제 신약개발 파이프라인에 직접적인 영향을 미친다.
• Approach: GP-MolFormer로 초기화된 시퀀스 기반 GFlowNet을 relative trajectory balance(RTB)로 post-training하면서, 합성가능/불가능 샘플을 담은 별도의 replay buffer 간 contrastive loss를 추가하여 합성가능 영역으로 확률질량을 재분배하는 soft-constraint 방식을 제안한다.

Achievement

Figure 3. Comparison over different MDPs on sEH. While SFN guarantees 100% validity on the generation constraints (Posit

1. 높은 합성가능성 달성: S3-GFN은 다양한 분자 설계 과제에서 95% 이상의 합성가능 분자 생성률을 달성하면서 경쟁력 있는 보상 최적화 성능을 유지한다.
2. Reaction-based GFlowNet 대비 우위: 더 단순한 시퀀스 기반 MDP를 사용함에도 불구하고 reaction-based GFlowNet보다 우수한 성능을 보인다.
3. 제약 조건 변화에 대한 빠른 재적응: 진화하는 제약 조건 하에서도 적은 수의 추가 학습 스텝만으로 샘플링 분포를 재정렬할 수 있으며, reward shaping 대비 더 안정적인 학습 거동을 보인다.
4. 외부 탐색 연산자와의 결합을 통한 성능 향상: genetic search 등 외부 탐색 연산자로 생성된 오프폴리시 샘플을 replay buffer에 통합함으로써 샘플이 제한된 벤치마크에서 가장 강력한 성능을 달성한다.

How

Figure 1. Overview of Synthesizable SMILES via Soft-constrained GFN (S3-GFN). A pretrained SMILES prior provides chemica

• GP-MolFormer를 prior로 초기화하고, relative trajectory balance(RTB) 목적함수를 사용해 posterior GFlowNet을 amortized inference 형태로 post-training함
• 합성가능(positive) 샘플과 합성불가능(negative) 샘플을 위한 두 개의 별도 replay buffer(𝒟_p, 𝒟_n)를 유지
• On-policy 업데이트에서는 positive 샘플에 대해서만 RTB objective(ℒ_RTB)를 적용
• Replay 업데이트에서는 positive와 negative trajectory 간 상대적 likelihood를 이용한 contrastive auxiliary loss(ℒ_con)를 도입하여 negative 영역의 확률질량을 억제하고 positive 영역을 강화
• 이 오프폴리시 프레임워크를 활용해 local mutation을 통한 negative 샘플 생성이나 genetic search를 통한 고보상 positive 샘플 생성 등 외부 탐색 연산자로 replay buffer를 지속적으로 정제
• Deceptive 2D grid world, sEH 벤치마크, ALDH1 docking 등 다양한 과제에서 reaction-based/fragment-based MDP와 비교 실험 수행

Originality

• 합성가능성을 하드코딩된 reaction template/action space 제약이 아닌, 대규모 SMILES 사전학습 prior와 contrastive 학습 기반 soft 분포적 제약으로 재정의한 점
• Reward shaping 방식의 최적화 충돌 문제를 회피하기 위해, 제약 강제를 스칼라 보상과 분리하여 별도의 auxiliary contrastive loss로 처리하는 설계
• GFlowNet의 off-policy 특성을 활용해 positive/negative replay buffer를 외부 탐색 연산자(local mutation, genetic search)로 지속적으로 갱신함으로써 유연하게 진화하는 제약 조건에 대응 가능하게 한 점

Limitation & Further Study

• Contrastive loss가 negative buffer의 구성 방식(예: local mutation)에 크게 의존할 가능성이 있으며, negative 샘플 정의 및 수집 전략의 일반화 가능성에 대한 추가 검증이 필요함
• 실제 wet-lab 합성 성공 여부가 아닌 in silico 합성가능성 지표(예: 합성경로 예측 도구)에 기반한 평가일 가능성이 높아, 실험적 검증과의 간극이 남아있음
• 시퀀스 기반 SMILES 생성이 여전히 유효하지 않거나 화학적으로 불안정한 구조를 생성할 위험이 있으며, reaction-based 방법처럼 합성 경로 자체를 명시적으로 보장하지는 않음
• 후속 연구로 다양한 화학적 제약(예: 독성, 특허 회피)이나 다중 목적 최적화로의 확장, 그리고 실제 실험적 검증을 통한 합성가능성 평가가 필요함

Evaluation

총평: 기존 reaction-based GFlowNet의 확장성/유연성 문제를 사전학습된 화학 언어모델과 soft한 contrastive 제약으로 우회하는 실용적이고 참신한 접근으로, 합성가능성과 보상 최적화 성능을 동시에 달성한 점이 인상적이나 in silico 합성가능성 지표에 대한 의존성과 wet-lab 검증 부재는 향후 보완이 필요하다.