MolX: A Geometric Foundation Model for Protein–Ligand Modelling

Motivation

• Known: 기존 구조 기반 단백질-리간드 상호작용 모델은 단백질과 리간드를 독립적으로 인코딩하거나 간소화된 표현에 의존하며, 표준 Transformer는 원래 순차 데이터용으로 설계되어 3D 분자 그래프의 기하학적 관계를 충분히 포착하지 못한다.
• Gap: 단백질 포켓과 리간드를 함께 표현하면서도 회전, 평행이동, 반사에 불변인 기하학적 표현을 학습할 수 있는 대규모 기초 모델이 부족했고, 모델 예측을 생물학적으로 해석 가능한 구성 요소로 분해하는 방법이 필요했다.
• Why: 단백질-리간드 상호작용 모델링은 신약 개발의 핵심이며, 3D 기하학과 물리화학적 상호보완성을 정확히 포착하면서도 강한 도메인 일반화를 갖춘 통일된 기초 모델은 다양한 응용에서 약물 발견 효율을 크게 향상시킬 수 있다.
• Approach: E(3)-등변 graph Transformer 레이어로 포켓과 리간드를 독립적으로 인코딩하되 상호 주의(mutual attention) 메커니즘으로 상호작용을 모델링하고, 감독 학습 목표(logP, 에너지 갭 회귀)와 자기감독 목표(좌표 노이즈 마스킹, 원자 마스킹)의 하이브리드 전략으로 대규모 3D 구조 데이터에서 기하학 인식형 표현을 사전학습한다.

Achievement

• 최첨단 성능: ADC, PROTAC, 분자 접착제, PCBA 활성 예측, 결합 친화도, 물리화학적 성질 회귀 등 8개 벤치마크에서 일관된 최첨단 성능 달성
• 강한 일반화: 다양한 다운스트림 작업에서 뛰어난 도메인 간 일반화 능력 입증
• 해석 가능성: 희소 자동인코더를 통해 잠재 표현을 생물학적으로 해석 가능한 특성으로 분해하여 포켓-리간드 상호작용 메커니즘 규명
• 확장성: 300만 개 포켓과 500만 개 분자의 대규모 사전학습으로 확장 가능한 기초 모델 구현

How

• E(3)-등변 graph Transformer 레이어에서 공간 인코딩(Graphormer), 엣지 인코딩, 중심성 인코딩을 통합하여 기하학적 관계와 화학 결합 정보 포착
• 상호 주의 메커니즘으로 포켓과 리간드 표현 간 메시지 전달 조절
• 노이즈 추가 좌표와 마스킹된 원자 타입에 대한 재구성 손실과 logP 및 에너지 갭 회귀 손실을 조합한 하이브리드 사전학습
• 희소 자동인코더를 통한 표현 분해 및 생물학적 특성 추출

Originality

• 단백질 포켓과 리간드를 E(3)-등변 그래프로 함께 모델링하는 통합 접근법이 기존의 독립적 인코딩과 구별됨
• 감독 학습과 자기감독 학습을 결합한 하이브리드 사전학습 전략으로 기하학적 제약과 화학적 성질을 동시에 학습
• 희소 자동인코더 모듈을 통한 해석 가능성 확보로 단순 예측 모델을 넘어 기계적 통찰 제공
• 대규모 3D 구조 데이터(300만+500만 개체)에 기반한 기초 모델은 이전 접근법의 규모를 크게 확장

Limitation & Further Study

• 희소 자동인코더의 해석 가능성 평가가 정량적 메트릭보다 정성적 분석에 의존하는 경향
• 특정 다운스트림 작업에서 최첨단 성능 개선의 정도가 작을 수 있으며, 미세조정(fine-tuning)의 최적화 전략이 충분히 탐구되지 않음
• E(3)-등변성 제약이 계산 복잡도를 증가시킬 가능성이 있으며, 대규모 포켓-리간드 쌍 생성 및 관리의 현실적 비용과 도전 과제
• 사전학습 데이터의 구성(단백질 포켓과 분자의 품질, 균형, 편향)에 대한 상세한 설명 부족

Evaluation

총평: MolX는 E(3)-등변 graph Transformer를 활용한 대규모 기초 모델로, 단백질-리간드 상호작용을 기하학적으로 불변인 표현으로 통합 학습하고 다양한 다운스트림 작업에서 최첨단 성능과 강한 일반화를 입증한다. 희소 자동인코더를 통한 해석 가능성 추가로 단순 예측을 넘어 생물학적 통찰을 제공하나, 해석성 평가의 정량화와 계산 효율성 분석이 보강되면 더욱 강력한 기여가 될 수 있다.