Retrieval-Augmented Foundation Models for Matched Molecular Pair Transformations to Recapitulate Medicinal Chemistry Intuition

Motivation

• Known: 기존 분자 최적화 모델들은 전체 분자 수준의 변환을 암시적으로 처리하거나 제한된 데이터셋에서 MMP 스타일의 편집을 학습하며, 사용자가 구체적으로 어느 부분을 수정할지 명시적으로 제어하기 어렵다.
• Gap: MMPT를 명시적인 첫 번째 클래스 생성 표현으로 활용하는 대규모 파운데이션 모델이 부재하며, 맥락 독립적인 변수-대-변수(variable-to-variable) 변환을 직접 학습하는 방법이 없다.
• Why: 의약화학에서 약물 설계는 국소적이고 해석 가능한 구조 수정을 통해 진행되므로, MMPT 중심의 명시적 제어 가능한 생성 모델은 약물 개발의 효율성과 신뢰성을 크게 향상시킨다.
• Approach: 대규모 화학 말뭉치에서 추출한 MMPT 데이터로 파운데이션 모델을 훈련하여 입력 변수가 주어질 때 대안 변수를 생성하고, 프롬프팅 메커니즘으로 선호 변환 패턴을 제어하며, 검색된 참조 유사체를 구조적 클러스터로 조직화하여 생성 분포를 재가중화하는 MMPT-RAG 프레임워크를 도입한다.

Achievement

Figure 4: UMAP visualization of MMPT-FM and MMPT-RAG’s

• MMPT 중심 공식화: 맥락 독립적인 국소 편집으로 아날로그 디자인을 정식화하여 다양한 분자 스캐폴드에서 조합 가능하게 함
• 대규모 파운데이션 모델: 광범위한 약물 유사 분자 말뭉치에서 추출한 대규모 MMPT 데이터로 훈련된 모델으로 제어 가능한 생성 지원
• MMPT-RAG 프레임워크: 외부 참조 데이터셋을 활용하여 구조적으로 관련된 예제를 검색하고 맥락 지침으로 사용하여 사용자 선호 패턴으로 생성을 조향
• 다중 벤치마크 검증: 분포 내 설정, 특허 내 아날로그 확장, 교차 특허 일반화 설정에서 일관되게 실제 변환 재현율을 개선하면서 높은 타당성과 비자명한 새로운 편집 달성

How

Figure 2: Overview of the proposed MMPT framework. (a) The foundation model (MMPT-FM) is trained on large-scale MMPT

• 대규모 화학 말뭉치로부터 matched molecular pair를 추출하여 MMPT 데이터셋 구성
• 변수 생성 조건부 모델로 파운데이션 모델 훈련 (context-independent variable-to-variable transformation)
• 사용자가 변환 템플릿이나 구조 패턴을 지정할 수 있는 프롬프팅 메커니즘 개발
• 검색 모듈로 외부 참조 유사체 검색 및 구조적 클러스터링 수행
• 검색된 참조 예제로부터 생성 확률 분포를 재가중화하여 희귀하면서 화학적으로 의미 있는 변환 강화
• 세 가지 평가 설정(in-distribution, patent-specific, cross-patent)에서 다중 지표(recall, validity, novelty) 평가

Originality

• 변수-대-변수 공식화의 혁신: 기존의 분자 수준 또는 상수-대-변수 완성 작업과 달리 맥락 독립적인 변수 치환을 직접 학습하는 첫 시도
• MMPT 중심 설계: MMPT를 생성 모델의 보조 제약이 아닌 중앙 추상화로 재정의
• 구조 인식 검색 증강: 단순 검색 이상으로 구조적 클러스터링을 통해 생성 분포를 명시적으로 재가중화하는 RAG 방식
• 의약화학 직관 통합: 파운데이션 모델과 사용자 제어를 결합하여 화학자의 직관과 대규모 데이터 학습의 시너지 달성

Limitation & Further Study

• MMPT 데이터 품질이 추출 방식과 필터링 기준에 의존하므로, 낮은 품질의 변환이 포함될 경우 모델 성능 저하 가능
• 프롬프팅 메커니즘의 효과가 사용자의 화학 지식과 명시 방식에 따라 변할 수 있어 일관된 제어성 보장 어려움
• 검색 모듈의 외부 참조 데이터셋 규모와 다양성이 제한적일 경우 RAG의 이점이 감소 가능
• 합성 가능성(synthetic feasibility) 검증이 명시적으로 포함되지 않아 생성된 변환의 실제 합성 가능성 보장 필요
• 후속연구: 동적 프롬프트 학습, 다중 모달 데이터(3D 구조, 활성 정보) 통합, 실제 합성 경로 예측 모듈 추가, 프로젝트별 미세조정 효율성 개선

Evaluation

총평: 본 논문은 MMPT를 명시적인 생성 단위로 삼는 혁신적 접근으로 의약화학의 직관을 ML 시스템에 통합하며, 대규모 데이터 기반 학습과 검색 증강 기법을 결합하여 제어 가능하고 실용적인 약물 후보 생성을 실현한다. 다중 벤치마크에서의 강력한 성과와 산업적 적용 가능성으로 인해 약물 개발 분야에 의미 있는 기여를 한다.