Evaluation of Custom REINVENT Priors Trained on Synthetically Accessible Chemical Spaces for Generative Molecular Design

Motivation

• Known: REINVENT은 AstraZeneca가 제안한 강화학습 기반 생성 모델로, Prior와 Agent 두 개의 RNN을 사용하여 원하는 특성을 가진 분자를 생성한다. 기존 연구들은 합성 가능성을 평가하기 위해 SAScore와 SYBA 같은 점수 함수를 사용했으며, 일부는 CSLVAE, SyntheMol, SynFormer 같은 신톤 기반 합성 경로 탐색 방법들을 제안했다.
• Gap: 기존 신톤 기반 화학공간 탐색 방법들은 공간을 정의하는 원본 파일(신톤, 반응 규칙)에 대한 접근을 요구하기 때문에 재현성과 확장성이 제한된다. Oracle 기반 접근법도 실시간 연산 오버헤드와 독점적 공간 정의에 대한 의존성 문제가 있다. 따라서 공개된 데이터로 학습된 Prior를 사용하여 합성 접근가능 공간 내에서 활성 분자를 생성하는 더 실용적인 방법이 필요하다.
• Why: 합성 가능한 분자 생성은 신약 개발의 실제 응용 단계에서 매우 중요하다. 기존 방법들의 낮은 재현성과 높은 계산 오버헤드를 극복하고, 공개된 Prior 모델을 제공함으로써 학계와 산업계가 기존 파이프라인에 쉽게 통합할 수 있는 실용적인 솔루션을 제공한다.
• Approach: Freedom Space 4.0과 REAL Space로부터 샘플된 분자들을 사용하여 사용자정의 Prior 모델들을 RNN(LSTM/GRU 기반)으로 학습한다. 이렇게 학습된 Prior를 기반으로 Agent 모델을 파인튜닝하되, 도킹 점수와 Tanimoto 거리 같은 계산 기반 목적함수를 조합하여 최적화한다. 생성된 분자들이 실제로 합성 공간 내에 존재하는지 검증한다.

Achievement

Figure 4: The mean and normalized scores for the MKK7 covalent docking Agent finetuning.

• 사용자정의 Prior 개발: Freedom Space 4.0과 REAL Space로부터 학습된 공개 Prior 모델들을 개발 및 공개.
• 합성 가능성 보증: 제안된 Prior로부터 생성된 분자들이 실제로 해당 합성 공간 내에 존재함을 검증.
• 다중 목적함수 최적화: MKK7과 JAK1 억제제 생성에서 도킹 기반 및 리간드 기반 목적함수의 효과적인 조합을 시연.
• 실용적 통합: 기존 REINVENT 프레임워크와의 호환성으로 기존 약물 발견 파이프라인에의 쉬운 통합 가능.

How

Figure 4: The mean and normalized scores for the MKK7 covalent docking Agent finetuning.

• Freedom Space 4.0과 REAL Space로부터 샘플된 분자 구조들(SMILES 표현)을 사용하여 RNN 기반 Prior 모델 학습
• Agent 모델을 도킹 점수, Tanimoto 거리 등 다양한 계산 기반 목적함수의 선형 결합으로 파인튜닝
• 생성된 분자들이 원래 합성 공간에 실제로 존재하는지 검증하는 평가 프로토콜 수립
• 구조 기반(도킹)과 리간드 기반(유사성) 목적함수의 성능을 MKK7, JAK1 억제제 케이스로 비교 평가

Originality

• 새로운 Prior 학습 전략: 기존 ChEMBL 기반 Prior 대신 합성 접근가능 공간(Freedom Space, REAL Space)으로부터 직접 학습한 사용자정의 Prior 개발이라는 새로운 접근 방식 제시.
• 공개 자원 제공: 신톤 및 반응 규칙에 대한 접근 없이도 사용 가능한 공개 Prior 모델 제공으로 기존 방법들의 재현성 문제를 극복.
• 개념적 단순화: 신톤-반응 기반 명시적 모델링을 피하고 일반적인 분자 구조 생성 프레임워크를 직접 활용함으로써 개념적으로 단순하면서도 실용적인 솔루션 제시.

Limitation & Further Study

• 논문이 프리프린트(chemrxiv)로 피어리뷰를 받지 않아 아직 방법론의 엄격한 검증이 부족함.
• 제한된 수의 단백질 타겟(MKK7, JAK1)에 대해서만 사례 연구를 보여줌으로써 일반화 가능성이 명확하지 않음.
• 생성된 분자들의 실제 합성 가능성과 생화학적 활성에 대한 실험적 검증 결과가 제시되지 않음.
• 다양한 합성 공간과 생물학적 목표에 대한 보다 광범위한 벤치마킹 연구 필요.

Evaluation

총평: 이 연구는 합성 접근가능 화학공간으로부터 학습된 사용자정의 REINVENT Prior를 개발하여 약물 발견에 매우 실용적인 솔루션을 제시한다. 공개 Prior 모델의 제공과 기존 REINVENT 프레임워크와의 호환성은 학계와 산업계에서 즉시 활용 가능하게 한다. 다만 피어리뷰 전 단계의 프리프린트이며 제한된 사례 연구와 실험적 검증 부재가 약점이지만, 개념적 기여와 실용적 가치는 충분히 의미 있다.