SLAE: Strictly Local All-atom Environment for Protein Representation

Motivation

• Known: 기존 protein representation 연구는 크게 진화 정보에 기반한 protein language model(PLM) 계열과 backbone 수준 구조만을 다루는 graph denoising 계열로 나뉘며, sequence-structure co-embedding 방법(SaProt, FoldToken, ProSST, ISM, ESM3)들도 sequence-anchored token에 구조 descriptor를 부가하는 형태에 머문다.
• Gap: 기존 접근법들은 side-chain geometry와 화학적 세부사항을 무시하거나(backbone-only), 진화적 정보와 물리적 상호작용을 분리하지 못하며(PLM), all-atom 규모에서 범용적으로 사전학습 가능한 프레임워크가 부재하다는 한계가 있다. 또한 CHEAP과 같은 기존 all-atom 표현은 동일 서열의 서로 다른 conformation을 구분하지 못해 conformation 간 interpolation이 불가능하다.
• Why: 물리적으로 근거 있는 all-atom protein representation은 hydrophobic packing, hydrogen-bonding, electrostatic interaction 등 residue-level 화학 환경을 정량화하여 구조 품질 평가, conformation 간 부드러운 interpolation, 그리고 다양한 downstream task로의 전이(fold classification, binding affinity, stability, NMR chemical shift 등)를 가능하게 하는 범용 기반이 되기 때문에 중요하다.
• Approach: SLAE는 각 residue를 strictly local atom graph로 제한한 encoder와, 이 residue token들을 전역적으로 결합해 전체 구조를 복원하는 asymmetric Transformer decoder로 구성된 all-atom autoencoder를 제안하고, coordinate reconstruction, sequence recovery, Rosetta 기반 inter-residue energy regression을 결합한 multi-task objective로 학습한다.

Achievement

Figure 2. SLAE latent organization. UMAP visualization of

1. 고충실도 all-atom 재구성: 국소 residue 환경만으로도 latent로부터 all-atom Cartesian 좌표를 높은 정확도로 재구성할 수 있음을 보임.
2. 다양한 downstream task에서 SOTA 성능: fold classification, protein-protein binding affinity, single-point mutation stability, NMR chemical shift 등 여러 해상도 스케일의 벤치마크에서 state-of-the-art 또는 동등 수준 성능 달성.
3. 화학적으로 informative하고 해석 가능한 latent space: latent 공간이 side-chain chemistry, solvent exposure, secondary structure 축을 따라 해석 가능하며, 구조 품질의 정량적 평가와 conformation 간 부드러운 interpolation을 지원.
4. 에너지 회귀를 통한 pretraining 가이드: energy regression task를 reconstruction pretraining에 도입해 latent가 물리적 에너지 정보와 정렬되도록 함.
5. 효율적인 local-global 이원 구조 설계: SE(3)-equivariant local encoder와 global Transformer decoder를 분리해 대규모 all-atom pretraining을 계산적으로 tractable하게 만듦.

How

Figure 1. Overview of the SLAE framework. A. Pretraining A graph encoder maps local atomic neighborhoods to residue embe

• 단백질 구조를 residue 중심의 directed graph로 표현하고, 각 원자의 국소 이웃(atom type, interatomic geometry)만을 encoder 입력으로 사용
• SE(3)-equivariant graph encoder가 각 국소 환경을 rotation/translation-invariant residue token(z)으로 매핑
• Transformer decoder가 residue token들을 self-attention으로 통합해 전체 all-atom 구조(좌표 및 서열)를 재구성하고, Rosetta 유래 pairwise energy term(solvation, H-bond, electrostatic 등)을 함께 회귀
• 손실 함수는 coordinate reconstruction, sequence recovery, energy regression의 multi-task objective로 구성되어 latent가 구조·화학·에너지 정보를 모두 반영하도록 정규화
• 사전학습된 residue/atom/protein 수준 임베딩을 lightweight task-specific head에 연결하는 transfer learning 방식으로 다양한 downstream task(homology, affinity, stability, chemical shift 등) 평가
• latent space에서 linear interpolation을 수행해 conformation 간 부드러운 전이가 물리적으로 타당한 구조로 디코딩되는지 검증

Originality

• residue-centric strictly local atom graph를 encoder 입력으로 제한하는 information bottleneck 설계를 통해 물리적으로 의미있는 상호작용이 자연스럽게 emergent하도록 유도
• coordinate reconstruction + sequence recovery + Rosetta 기반 energy regression을 결합한 multi-task autoencoder objective는 기존 sequence-anchored hybrid 방법들과 달리 구조·에너지 anchored residue token을 학습
• local encoding과 global decoding을 명확히 분리한 asymmetric 구조(SE(3)-equivariant local encoder + Transformer global decoder)로 대규모 all-atom pretraining을 계산적으로 tractable하게 만든 점
• 기존 CHEAP 등과 달리 동일 서열의 서로 다른 conformation을 구분 가능한 latent를 제공해 conformation interpolation을 지원

Limitation & Further Study

• 초록 및 발췌 본문 기준으로 정량적 벤치마크 수치, 데이터셋 규모, ablation 결과 등이 충분히 제시되지 않아 실제 성능 우위의 정도를 판단하기 어려움
• strictly local atom graph의 cutoff 반경 등 하이퍼파라미터 선택이 성능과 일반화에 미치는 영향에 대한 분석이 본문 발췌에서 명확히 드러나지 않음
• Rosetta 기반 energy term에 의존하므로 이 energy function의 정확도 한계가 학습된 latent의 물리적 타당성에 영향을 줄 수 있음
• 후속 연구로는 다양한 cutoff/그래프 구조에 대한 체계적 ablation, 더 큰 규모의 도메인(예: 복합체, 막단백질)에 대한 일반화 검증, 그리고 energy function 대체/개선을 통한 latent 품질 향상 연구가 필요해 보임

Evaluation

총평: local atom graph 기반 bottleneck과 multi-task energy-aware autoencoder objective를 결합한 SLAE는 all-atom protein representation 학습에서 참신하고 물리적으로 근거있는 접근을 제시하며, 다양한 downstream task로의 전이 가능성과 해석 가능한 latent space를 보여주는 유의미한 기여로 평가된다.