Boltz-Perturb: The Path Not Taken. Unlocking Generative Diversity in Co-Folding Models via Training-Free Conditioning Perturbation

Motivation

• Known: AlphaFold3 및 Boltz, Chai 등 open-source AF3-style co-folding 모델은 protein-ligand binding pose 예측에서 기존 docking 방법보다 우수한 성능을 보이지만, 여러 random seed나 diffusion sampling temperature로 반복 추론해도 유사하고 종종 최적이 아닌 binding mode로 수렴하는 낮은 다양성 문제가 지속된다.
• Gap: image/language generation 분야에서는 classifier-free guidance로 인한 저다양성 문제를 conditioning perturbation(CADS, TAPS, TADA 등)으로 해결한 사례가 있으나, AF3-style co-folding 아키텍처에서 small molecule binding mode 다양성을 위한 perturbation 분석은 이루어진 적이 없다.
• Why: 구조 기반 신약 개발(structure-based drug discovery)에서는 정확한 binding mode 예측이 structure-activity relationship 분석에 필수적이며, 재학습 없이 추론 시점에서 latent capacity를 끌어낼 수 있다면 기존 co-folding 모델의 실용적 활용도를 크게 높일 수 있다.
• Approach: Boltz-2의 denoising module 내 conditioning signal인 single representation(token embedding)과 pairwise representation에서 유래한 attention bias에 time-annealed Gaussian noise를 주입하는 Token Conditioning Perturbation(TCP)과 Token Bias Perturbation(TBP)을 제안하고, true-coordinate injection 실험으로 모델의 학습된 energy landscape에 이미 올바른 binding-mode basin이 존재함을 검증한다.

Achievement

1. Sampling deficiency 진단: true-coordinate injection 실험을 통해 Boltz-2가 올바른 binding mode를 식별할 잠재 능력을 이미 갖추고 있음을 보이고, 문제를 inference-time 해법이 가능한 sampling 문제로 재정의했다.
2. Boltz-Perturb 프레임워크 제안: denoising module의 conditioning signal(token embedding, attention bias)에 time-annealed noise를 주입하는 training-free 프레임워크를 제시했으며, TCP가 best ligand RMSD 기준 최고 순위를 기록해 RMSD 2Å 미만 예측 비율을 17.7%에서 30.6%로 향상시키면서 샘플 수는 3분의 1로 줄였다.
3. Perturbation 설계 공간 특성화: noise scale, time-step scheduling, perturbation 영역 간 관계를 체계적으로 실험해 효과적인 설정을 규명하고, 모델 자체의 noise variance를 이용해 perturbation 시점과 크기를 자동 보정하는 adaptive schedule인 TADS-Auto를 도입했다.

How

• Boltz-2 denoising module의 conditioning signal 구조 분석: trunk에서 유래한 single representation(si)과 pairwise representation(zij)이 모든 샘플에 걸쳐 고정적으로 공유되어 다양성 병목(bottleneck)으로 작용함을 규명
• true-coordinate injection 실험으로 모델이 올바른 conformational 영역으로 유도되면 정답 binding mode를 복원함을 확인해 학습된 energy landscape에 correct basin이 존재함을 입증
• CADS(Condition-Annealed Diffusion Sampler)에서 영감을 받아 Token Conditioning Perturbation(TCP, single representation의 token embedding 대상)과 Token Bias Perturbation(TBP, attention bias B 대상)을 설계
• ˆy = √γ(t)y + s√(1−γ(t))n 형태의 time-annealed noise 주입 및 rescaling/interpolation을 통해 원래 평균·분산을 보존하면서 conditioning 신호를 교란
• 62개 target에 대해 noise scale, timestep scheduling, perturbation 대상 영역(TCP vs TBP)을 체계적으로 실험하고, 모델 자체 noise variance 기반 adaptive schedule인 TADS-Auto를 추가로 제안해 성능 비교

Originality

• 기존 이미지/언어 생성 분야의 conditioning perturbation 아이디어(CADS)를 AF3-style co-folding 아키텍처에 최초로 적용한 perturbation 분석이라는 점에서 새로운 문제 설정
• MSA perturbation, fine-tuning, coordinate-level steering(Boltz-steering, ConforMix) 등 기존 다양성 확보 기법과 달리, denoising module 내부의 latent conditioning representation(token embedding, attention bias)을 직접 교란하는 training-free 접근을 취함
• true-coordinate injection이라는 진단적 실험을 통해 문제를 "모델 능력 부족"이 아닌 "sampling 결핍" 문제로 재구성한 프레이밍 자체가 독창적
• 모델의 own noise variance를 활용해 perturbation 시점/크기를 자동 보정하는 TADS-Auto라는 adaptive scheduling 기법을 새로 제시

Limitation & Further Study

• 실험이 62개 target에 국한되어 있어 더 넓은 target 다양성과 다양한 co-folding 아키텍처(Chai, Protenix 등)로의 일반화 가능성 검증이 필요하다.
• oracle success rate 기준으로 성능을 보고하고 있어, 실제 blind prediction 환경에서 최적 mode를 선택하는 practical scoring/ranking 문제는 별도로 다뤄지지 않았다.
• ConforMix, Boltz-steering 등 coordinate-level 방법과의 정량적 직접 비교나 결합(combination) 실험이 충분히 제시되지 않아, 상호 보완성 주장에 대한 실증이 부족하다.
• perturbation 강도와 시점 조절에 대한 hyperparameter sensitivity 및 계산 비용(추론 시간 증가) 분석이 상세히 제시될 필요가 있다.

Evaluation

총평: 재학습 없이 co-folding 모델의 conditioning signal만을 교란해 binding mode 다양성을 크게 향상시킨 실용적이고 독창적인 연구로, 구조 기반 신약 개발 파이프라인에 즉시 적용 가능한 잠재력을 보여준다.