Multi-to-uni modal knowledge transfer pre-training for molecular representation learning

Motivation

• Known: 분자 표현 학습은 SMILES, 2D 그래프, 3D 그래프 등 다양한 모달리티를 활용한 자가 지도 사전 학습으로 발전해 왔다. 기존의 "one-one" 패러다임은 두 모달리티 간 관계만 모델링하고, "one-others" 패러다임은 완전한 모달리티를 요구하는 한계가 있다.
• Gap: 기존 방법들은 사전 학습 및 미세 조정 단계에서 모든 모달리티의 완전성을 요구하지만, 실제 약물 발견 응용에서는 2D 위상 그래프만 이용 가능한 경우가 대부분이다. 따라서 불완전한 모달리티 환경과 단일 모달리티 다운스트림 과제에 대한 실질적 해결책이 필요하다.
• Why: 현실의 분자 데이터에서 3D 구조나 생화학적 특성은 계산 비용이나 데이터 가용성 문제로 항상 확보할 수 없다. M2UMol이 제시하는 다중-단일 모달 지식 전이는 제한된 자원으로도 다중 모달 학습의 이점을 활용할 수 있게 하여 실제 신약 개발 워크플로우에 직접 적용 가능하다.
• Approach: M2UMol은 2D 분자 표현으로부터 모달 특화 어댑터를 통해 의사(pseudo) 다중 모달 표현을 생성한다. generated-actual multimodal contrastive learning과 modality classification의 두 자가 지도 과제로 사전 학습하며, 미세 조정 시 사전 학습된 2D 인코더와 어댑터를 활용해 다중 헤드 어텐션으로 표현을 통합한다.

Achievement

M2UMol의 주요 성과:

• 불완전한 모달리티 환경에서 사전 학습 가능 (11,571개 약물성 분자)
• 2D 모달리티만으로 다운스트림 과제에서 우수한 성능 달성
• 분자 속성 예측(molecular property prediction) 과제에서 기존 모델 능가
• 분자 상호 작용 예측(drug-target interaction, drug-drug interaction) 과제에서 높은 성능
• Scaffold split 같은 엄격한 평가 시나리오에서 강건한 성능
• 선구적 모델 대비 훨씬 적은 계산 비용(11k 분자로 사전 학습)과 짧은 학습 시간
• 생화학적 특징(Bio modality) 등 기존에 간과된 모달리티 통합

How

Fig. 3 | Investigation of the designed multi-to-uni modal knowledge transfer

• 네 가지 모달리티(2D, 3D, Text, Bio)를 포함한 11,571개 약물성 분자 데이터셋 구축
• 각 모달리티별 인코더 설계 (2D, 3D, Text, Bio 인코더)
• 모달 특화 어댑터를 통한 의사 다중 모달 표현 생성 메커니즘
• generated-actual multimodal contrastive learning으로 생성된 표현과 실제 표현 정렬
• modality classification 과제로 어댑터가 모달 특화 지식 학습 유도
• 미세 조정 시 multi-head attention을 통한 적응적 표현 통합
• 신약 개발을 위한 사용자 친화적 패키지 개발 (분자 표현 학습, 기능 그룹 분석, 다중 모달 검색 기능 통합)

Originality

• 기존의 "one-one", "one-others" 패러다임과 다른 "multi-to-uni modal" 패러다임의 창의적 제안
• 2D 인코더만으로 다중 모달 정보를 의사 표현으로 재생성하는 혁신적 접근
• 모달 특화 어댑터라는 새로운 구조 도입으로 각 모달리티의 특이한 정보 보존
• 불완전한 모달리티 데이터를 활용 가능하게 한 실용적 혁신
• Bio modality(생화학적 특징)를 주요 모달리티로 명시적으로 포함한 첫 시도

Limitation & Further Study

• 사전 학습 데이터셋 규모가 11,571개로 상대적으로 작음 (수백만 개 분자 사전 학습 모델과의 비교 필요)
• 생성된 의사 다중 모달 표현의 품질이 실제 모달리티 표현과 완전히 일치하지 않을 수 있음
• 3D, Text, Bio 모달리티가 모두 사용 불가능한 극단적 상황에 대한 대응 방안 부족
• 모달 특화 어댑터의 최적 구조 설계에 대한 이론적 근거 제시 미흡

후속 연구 방향:

• 더 큰 규모의 분자 데이터셋에서의 성능 검증
• 생성된 표현과 실제 표현 간 차이를 정량적으로 분석하는 상세 연구
• 다양한 다운스트림 과제에서의 일반화 능력 검증
• 적응적 표현 통합 메커니즘의 해석성 개선

Evaluation

총평: M2UMol은 실제 신약 개발 환경의 불완전한 모달리티 문제를 창의적으로 해결한 실용적이고 혁신적인 연구이다. 다중-단일 모달 지식 전이 패러다임과 모달 특화 어댑터 설계를 통해 2D 표현에서 다중 모달 정보를 효과적으로 생성하며, 종합적인 실험과 오픈소스 패키지 제공으로 높은 재현성과 적용 가능성을 보장한다.