An equivariant pretrained transformer for unified 3D molecular representation learning

Motivation

• Known: 기하학적 GNN은 분자의 물리적 상호작용을 정확히 모델링하고 E(3) 대칭성을 유지하며, 자기지도 사전학습(self-supervised pretraining)은 레이블 데이터 부족 문제를 완화한다. 하지만 기존 접근법은 대부분 소분자, 단백질 등 특정 도메인에 국한되어 있다.
• Gap: 도메인 간 지식 활용을 놓치고 있으며, 크로스 도메인 일반화 능력이 제한적이다. 또한 데이터 형식 이질성(소분자의 원자 수준 vs 단백질의 잔기 수준), E(3) 대칭성 보존, 도메인 간 사전학습 목표 설계에 대한 기술적 과제가 미해결이다.
• Why: 모든 원자 시스템은 슈뢰딩거 방정식과 같은 동일한 기본 원리로 지배되므로, 통합된 기초 모델 개발은 약물 발굴, 단백질 설계, 생명과학 연구 등 다양한 과학 응용에 혁신적 영향을 미칠 수 있다.
• Approach: EPT는 block 단위의 denoising 사전학습 목표(회전 및 병진 운동량 복원)를 통해 계층적 기하학을 학습하고, equivariant self-attention과 feed-forward 메커니즘으로 원자 수준의 스칼라·벡터 특성을 업데이트한다. 5.89M개 항목의 대규모 멀티도메인 데이터셋으로 사전학습한다.

Achievement

Fig. 2 | The performance of EPT on downstream tasks. a EPT is evaluated on three

• 리간드 결합 친화도(LBA) 예측: 단백질 시퀀스 유사도 30%, 60% 벤치마크에서 기존 방법 대비 최고 성능 달성
• 단백질 돌연변이 안정성 예측(MSP): 도메인 특화 모델을 크게 초과하는 강력한 일반화 성능 입증
• 분자 성질 예측(MPP): 기존 주요 접근법과 경쟁력 있는 결과, block 수준 denoising 전략 적용 시 유의미한 성능 향상
• COVID-19 항바이러스 약물 발굴: FDA 승인 의약품을 3CL protease 결합 가능성으로 순위 매김, 12개 후보 선정 후 MD 시뮬레이션 검증으로 7개 분자가 기존 상위 항-COVID-19 약물보다 높은 결합 친화도 확인

How

Fig. 1 | Overview of EPT. EPT is a foundation model for multi-domain 3D molecules.

• E(3)-equivariant transformer 아키텍처 설계: graph embedding 계층으로 원자·block 수준 정보 인코딩, equivariant self-attention과 feed-forward로 상호작용 모델링
• Block 정의의 도메인 적응: 소분자는 heavy atoms + 직접 결합 수소, 단백질은 아미노산 단위
• Block 수준 denoising 사전학습: 각 block의 질량중심(CoM) 무작위 이동 및 CoM 중심 회전 적용 후 병진력과 각운동량 예측
• 멀티도메인 데이터 통합: 5.89M개 항목의 소분자, 단백질, 복합체 데이터셋 구성
• 다운스트림 태스크 파인튜닝: LBA, MSP, MPP 등 다양한 예측 작업에 대한 성능 평가
• 약물 발굴 파이프라인: EPT 예측 결과로 후보 순위 매김 → t-SNE 클러스터링 → MD 시뮬레이션 검증

Originality

• 소분자, 단백질, 복합체를 통합 처리하는 최초 all-atom foundation 모델 중 하나로, 기존 도메인 특화 또는 dual-tower 방식과 차별화
• Block 수준의 계층적 denoising 목표 도입으로 원자 수준 상호작용과 구조적 맥락을 동시에 학습
• E(3)-equivariant transformer 기반의 물리적 원리 기반 설계로 회전·병진 불변성 보장
• 기초 모델 패러다임(GPT, Gato)을 분자 과학에 확장하여 크로스 도메인 지식 활용 가능성 제시

Limitation & Further Study

• 계산 복잡도: equivariant transformer의 scalability가 매우 큰 시스템(예: 단백질-단백질 복합체)에서 제한될 수 있음
• 데이터 품질 의존성: 5.89M 데이터셋의 다양성 및 정확도가 성능에 직접 영향, 특히 희귀 분자나 novel 구조에 대한 일반화 미검증
• 실험 검증 범위: COVID-19 약물 발굴의 12개 후보 중 7개만 높은 결합 친화도 확인(58% 성공률), 생물학적 활성도나 독성 평가 부족
• Block 정의의 경직성: 소분자와 단백질의 block 정의가 고정적이어 새로운 분자 유형(RNA, 당단백질 등)에 대한 확장성 제한
• 후속 연구: (1) larger-scale 모델 확장 및 efficient attention 메커니즘 개발, (2) RNA, 다당류 등 추가 분자 유형 통합, (3) 실제 drug discovery 파이프라인에서의 임상 검증, (4) 모델 해석성 및 원자 간 상호작용의 물리적 의미 분석

Evaluation

총평: EPT는 E(3) 대칭성을 엄격히 보존하면서 다중 도메인 3D 분자를 통합 모델링하는 혁신적 기초 모델로, 리간드 결합 예측 및 실제 약물 발굴 응용에서 강력한 성능을 입증했다. 다만 계산 효율성, 데이터 다양성, 실험적 검증 범위에 대한 한계가 향후 개선 과제로 남아있다.