RETROSPECT: RETROsynthesis via Sequential Prediction, and Chemically Transformed-ranking

Motivation

• Known: 기존 retrosynthesis 시스템은 template-based 방법(GLN, GraphRetro, LocalRetro, RetroGFN)과 template-free/semi-template 방법(sequence-to-sequence, G2Gs, MEGAN, Retroformer, Graph2Edits 등)으로 나뉘며, RetroChimera처럼 복수의 상호보완적 proposal model을 앙상블하고 학습된 ranking으로 결합하는 프론티어 시스템도 존재한다.
• Gap: 대부분의 최신 시스템은 candidate proposal(후보 생성)과 candidate selection(순위 결정)을 하나의 단계로 결합하여 다루기 때문에, 어떤 메커니즘이 그럴듯한 disconnection을 열거하고 어떤 메커니즘이 그 순서를 결정하는지가 명확히 분리되어 연구되지 않았다.
• Why: multi-step synthesis planning에서 single-step 모델은 반복 호출되므로, 정확한 top-1 제안뿐 아니라 첫 제안이 불가능하거나 전략적으로 부적절할 때 대안을 제공할 만큼 풍부한 candidate list를 유지하는 것이 실제 활용성에 매우 중요하다.
• Approach: 본 논문은 proposal과 selection을 명시적으로 분리하여, 단일 모델인 ChemAlign Transformer로 강력한 후보 제안을 생성한 뒤, structural/reaction-template/upstream-score/optional DFT 기반 특징을 사용하는 LambdaMART 리랭커로 후보 풀을 재정렬하는 RETROSPECT 프레임워크를 제안한다.

Achievement

1. RETROSPECT 프레임워크 제안: candidate generation과 candidate selection을 명확히 분리하는 모듈형 proposal-plus-reranking 프레임워크를 제시했다.
2. ChemAlign Transformer 개발: hybrid root-aligned/random SMILES augmentation, Pre-LayerNorm, EMA 가중치, tied token embeddings, 미분 가능한 atom-balance 보조 손실을 결합한 강화된 Augmented Transformer 변형을 개발하여 USPTO-50K 전체 테스트셋(5,007개 반응)에서 top-1 55.00%, top-10 86.18% exact-match 정확도와 top-1 99.86% validity를 달성했다.
3. LambdaMART 리랭커 구현: upstream score, structural descriptor, reaction-template descriptor, optional DFT-derived feature를 결합한 리랭커를 구현하고, frequency 기반 통계량에 필요한 train-split freezing 절차를 문서화했으며, 병합된 candidate-pool 벤치마크(제품당 약 111개 후보)에서 top-1 59.4%, MRR 0.7171을 달성했다.
4. 특징 ablation 분석: upstream proposal score와 template-frequency 통계가 리랭킹 신호의 대부분을 제공하는 반면, DFT 및 reaction-center DFT 특징은 더 작고 일관성 낮은 개선만 제공함을 보였다.

How

• ChemAlign Transformer: 6개 encoder layer, 6개 decoder layer, hidden size 512, 8개 attention head, feed-forward size 2048, dropout 0.1, sinusoidal positional encoding(최대 길이 1000), 81-token vocabulary(Molecular Transformer 스타일 regex tokenizer 사용)로 구성된 encoder-decoder Transformer이다.
• 40,008개 학습 반응에 대해 20-fold offline augmentation을 수행하여 800,160개 source-target 쌍을 생성하며, 반응당 16개는 root-aligned SMILES, 4개는 random SMILES를 사용한다.
• Pre-LayerNorm, 3-way weight tying(encoder/decoder embedding, output projection), Xavier 초기화, decay 0.999의 EMA 가중치를 적용하고, Adam optimizer(β1=0.9, β2=0.998, ϵ=10⁻⁹)와 Noam schedule(factor 2.0, warmup 8,000 step)로 학습한다.
• decoder softmax 하의 기대 원소 개수와 실제 원소 비율 간 차이를 L1 penalty(계수 0.1)로 벌점화하는 differentiable atom-balance auxiliary loss를 추가하여 mass-balance 위반을 완화한다.
• LambdaMART reranker는 XGBoost 기반으로 listwise rank:ndcg objective를 사용하며, 다중 product traversal로 생성한 후보들을 병합·중복 제거한 뒤 structural descriptor(pharmacophore count, functional-group indicator, atom-count delta, Morgan/MACCS fingerprint 유사도), reaction-template descriptor(template 추출 가능 여부, hashed template identifier, train-frozen template-frequency 통계), optional DFT-derived descriptor(HOMO, LUMO, gap, dipole, hardness, softness 등), upstream proposal score의 4가지 feature block을 계산하여 순위를 재조정한다.

Originality

• proposal 모델과 reranking 모델을 명확히 별도의 단위로 취급하여, 새로운 앙상블을 제안하기보다 두 구성요소의 상호작용 자체를 연구 대상으로 삼은 관점의 독창성이 있다.
• Augmented Transformer를 hybrid root-aligned/random SMILES augmentation, Pre-LayerNorm, EMA weight, tied embedding, differentiable atom-balance auxiliary loss로 재구성한 ChemAlign Transformer라는 강화 버전을 제시했다.
• structural, reaction-template, upstream-score, optional DFT feature를 통합한 LambdaMART 기반 listwise reranking을 retrosynthesis 후보 재정렬에 적용하고, 각 feature family의 기여도를 ablation으로 분해했다.
• 제안 모델을 RetroChimera와 같은 앙상블 시스템에 drop-in 가능한 구성요소로 위치시키는 모듈화 관점을 제시했다.

Limitation & Further Study

• USPTO-50K라는 단일 벤치마크에 한정된 평가로, 더 크거나 다양한 반응 데이터셋(예: USPTO-full, USPTO-MIT)에 대한 일반화 검증이 부족하다.
• DFT-derived feature의 기여가 작고 일관성이 낮다고 보고했지만, 이는 DFT descriptor 설계나 계산 방법의 한계일 수 있어 추가적인 DFT feature 엔지니어링이나 대안적 quantum-chemical descriptor 탐색이 필요하다.
• 단일 proposal model만을 사용하여 앙상블 기반 최신 시스템(RetroChimera 등)과의 직접적인 성능 비교가 제한적이며, 실제 drop-in 통합 실험은 향후 연구로 남겨져 있다.
• atom-balance auxiliary loss가 hard validity constraint가 아니므로 여전히 소수의 mass-balance 위반 사례가 발생할 가능성이 있다.

Evaluation

총평: proposal과 selection을 명확히 분리하는 모듈형 접근을 통해 강력한 단일 모델 기반 retrosynthesis 성능과 체계적인 reranking feature 분석을 제공한 견실한 연구이며, 향후 앙상블 시스템과의 결합 가능성을 제시한 실용적 가치가 있다.