Sample Efficient Generative Optimization for Molecular Design

Motivation

• Known: REINVENT 계열의 SMILES 기반 RL 생성 모델은 분자 최적화에서 가장 sample efficient한 방법 중 하나이며, Bayesian optimization은 surrogate model 학습을 통해 negative example로부터도 빠르게 학습하여 화학에서 널리 성공적으로 사용되어 왔다. 최근 Gollum과 같은 LLM 기반 deep kernel learning은 SMILES만으로 즉석에서 featurization이 가능해 고정된 라이브러리를 넘어선 BO 적용의 문을 열었다.
• Gap: REINVENT 계열 RL 방법은 loss function 특성상 최적화 초기에 negative example로부터 잘 학습하지 못해 초반 lag-time이 발생하고, 순수 BO 방법은 사전 정의된 라이브러리에 국한되거나 latent space 디코딩 문제, 분자 표현(representation) 선택에 대한 민감성 등의 한계가 있어 두 접근을 원활히 통합한 sample efficient 프레임워크가 부재했다.
• Why: 실제 신약·촉매·재료 발견에서는 protein-ligand binding이나 촉매 활성 같은 현상을 정확히 시뮬레이션하기 어렵고 실험적 측정은 비용과 시간이 많이 들기 때문에, oracle 호출 수를 최소화하는 sample efficiency가 실질적 임팩트를 좌우하며, 이를 개선하면 고비용·고신뢰도 시뮬레이션이나 직접적인 실험 피드백 기반 최적화 캠페인이 가능해진다.
• Approach: SEGO는 각 iteration에서 surrogate model이 유망한 화학 공간 영역에 생성 모델의 탐색을 집중시키도록 유도한 뒤, 생성된 후보 라이브러리에 대해 LLM 기반 deep kernel learning으로 featurization하고 BO의 acquisition function을 적용하여 가장 정보량이 높은 분자를 다음 실험 대상으로 선택하는 tandem RL-BO 프레임워크이다.

Achievement

1. PMO 벤치마크 SOTA 달성: SEGO는 Practical Molecular Optimization(PMO) 벤치마크에서 다른 방법들이 소비하는 oracle 호출 수의 단 10분의 1만으로 state-of-the-art 성능을 달성했다.
2. Docking 과제에서의 효율성: multiparameter docking 최적화 과제에서 SEGO는 기존 state-of-the-art 방법 대비 절반 미만의 oracle 호출로 여러 hit 분자를 식별했다.
3. 순수 BO 및 순수 RL 대비 우수성: SEGO는 순수 BO 방법과 순수 RL 방법 모두를 능가하는 성능을 보였다.

How

• Surrogate model을 활용해 RL 기반 생성 모델의 탐색을 유망한 화학 공간 영역으로 집중(anchoring mechanism 사용)
• 생성된 후보 라이브러리를 Gollum 스타일의 LLM 기반 deep kernel learning으로 featurization (SMILES만으로 즉석 처리 가능)
• Bayesian optimization의 acquisition function을 적용해 후보 중 가장 정보량이 높은(informative) 분자를 다음 oracle 평가 대상으로 선택
• Surrogate 학습 시 SMILES augmentation을 적용해 낮은 데이터 환경에서도 일반화 성능과 sample efficiency 향상
• PMO 벤치마크와 multiparameter docking task에서 반복적으로 이 tandem 절차(생성→featurize→BO 선택→oracle 평가→surrogate 업데이트)를 수행

Originality

• 생성 모델(RL 기반 surrogate-guided generation)과 BO를 단순 병렬 사용이 아니라 tandem 방식으로 결합하여, 생성 단계에서부터 surrogate 정보를 반영하고 이후 BO로 재선별하는 이중 필터링 구조를 제안
• SMILES augmentation과 anchoring mechanism을 surrogate-guided generation에 도입하여 sample efficiency를 추가로 향상
• 기존의 latent-optimize-then-decode 방식이나 fixed library 기반 BO의 한계를 극복하고, 동적으로 생성된 라이브러리에 대해 LLM 기반 featurization(Gollum 방식)을 활용해 on-the-fly로 BO를 적용

Limitation & Further Study

• 발췌된 본문에서는 실험 세부 설정(하이퍼파라미터, surrogate model 구조, anchoring mechanism의 구체적 정의)이 충분히 제시되지 않아 재현성 평가가 어려움
• PMO 벤치마크와 docking task 두 가지 벤치마크에 국한되어 있어, 실제 실험적 피드백을 이용한 prospective wet-lab 캠페인에서의 검증이 아직 이루어지지 않음(저자들도 이를 향후 방향으로 언급)
• BO 단계의 확장성(대규모 후보 라이브러리, 다중 목표 함수의 복잡성 증가 시)에 대한 분석이 부족할 수 있으며, surrogate model의 실패 모드(예: 화학 공간의 특정 영역에서 일반화 실패) 관련 논의가 필요
• 향후 연구로는 실제 실험 오라클과의 통합, 더 다양한 화학 taskset에서의 일반화 검증, surrogate와 생성 모델 간 상호작용의 이론적 분석 등이 제시될 수 있음

Evaluation

총평: SEGO는 생성 모델과 Bayesian optimization을 효과적으로 결합해 분자 최적화의 oracle 호출 효율을 크게 개선한 실용적이고 임팩트 있는 프레임워크로, 특히 실험 피드백 기반의 실질적 분자 발견 캠페인에 실질적으로 기여할 잠재력이 크다.