SIGMA: Structure-Invariant Generative Molecular Alignment for Chemical Language Models via Autoregressive Contrastive Learning

Motivation

• Known: Chemical Language Models는 SMILES 문자열을 사용하여 분자 생성을 확장 가능하게 수행하지만, 단일 분자 그래프가 다중 SMILES로 매핑되는 문제로 인해 Randomized SMILES 증강이나 보조 그래프 인코더를 사용한다.
• Gap: 기존 방법들은 구조 동등성을 암묵적으로 학습하려 하지만 명시적인 기하학적 불변성을 강제하지 못하며, 시퀀스 모델의 확장성과 그래프 모델의 기하학적 엄밀성 사이의 근본적인 트레이드오프가 존재한다.
• Why: 구조 불일치는 latent manifold 분열(manifold fragmentation)을 야기하여 강화학습 최적화에서 모드 붕괴와 탐색 제한을 초래하므로, 구조 기반 학습이 샘플 효율과 다양성을 동시에 향상시킬 수 있다.
• Approach: token 수준의 대조 손실로 동일한 부분 그래프를 공유하는 서로 다른 SMILES 경로들의 latent 표현을 정렬하고, 추론 시 IsoBeam으로 동형 중복을 제거하여 구조적으로 다양한 분자 탐색을 수행한다.

Achievement

Figure 1. Conceptual comparison between Global Contrastive Learning and our proposed Structure-Invariant Autoregressive

• Manifold Fragmentation 해결: 궤적 정렬(trajectory alignment)을 통해 구조적으로 동등한 부분 그래프의 latent 표현이 발산하지 않도록 강제하여 기하학적 불변성을 달성
• Structure-Invariant Contrastive Loss: suffix 매칭을 통해 양수 쌍을 정의하고 prefix 레벨에서 구조적으로 다른 음수와 대조하는 토큰 단위 손실 제안
• Isomorphic Beam Search (IsoBeam): 추론 중 동형 중복 경로를 동적으로 탐지하고 제거하여 구조적 다양성을 증가시킴
• Superior Sample Efficiency and Diversity: 표준 벤치마크에서 강력한 기준선 대비 샘플 효율과 다중 목적 최적화에서의 구조 다양성 동시 개선 달성

How

Figure 2. Token-level contrastive supervision across equivalent SMILES sequences. Two structurally equivalent SMILES (to

• 동등한 partial graph를 공유하는 randomized SMILES 쌍을 구성하여 suffix 매칭 기반 positive 쌍 정의
• suffix-align 손실로 매칭된 suffix 토큰의 output logits 분포와 cross-attention 가중치 정렬
• prefix-repel 손실로 구조적으로 다른 negative 샘플에 대해 mismatched prefix 토큰 repulsion 강제
• Beam search 중 생성된 SMILES를 molecular graph로 디코딩하여 동형 여부를 판단하고 중복 경로 제거
• 제거된 빔 예산을 구조적으로 다양한 scaffold 탐색에 재배분하여 탐색 효율성 증가

Originality

• 기존 global contrastive learning (SimCLR, SimSon)과 달리 token-level dense trajectory alignment를 도입하여 autoregressive 단계별 결정에 세밀한 제어를 제공
• SMILES의 suffix 구조를 활용한 새로운 positive 쌍 정의 방식으로, 명시적 구조 기반 대조 학습 구현
• 추론 단계에서 동형 중복을 동적으로 제거하는 IsoBeam이라는 실제적인 inference 알고리즘 제안
• 시퀀스 모델의 확장성을 유지하면서 그래프 모델의 기하학적 불변성을 달성하는 하이브리드 접근법

Limitation & Further Study

• Suffix 매칭 기반 positive 샘플 생성이 모든 구조적 변형을 포함하는지 이론적 보장 부재 - 부분적 동형 관계에 대한 명시적 분석 필요
• IsoBeam의 동형 판별 비용(graph isomorphism testing)이 큰 분자에서 계산 병목이 될 수 있으며, 계산 복잡도 분석 부족
• SMILES 외 다른 선형화 표현(SELFIES, DeepSMILES)에 대한 성능 비교 실험 부재
• 후속 연구: (1) 확률론적 구조 동등성 검증 프레임워크 개발, (2) 3D 기하학적 정보 통합, (3) 더 효율적인 동형 판별 알고리즘 탐구

Evaluation

총평: 본 논문은 Chemical Language Models의 근본적인 양식 불일치 문제를 명시적인 token 수준 대조 학습으로 우아하게 해결하며, IsoBeam을 통한 실용적 추론 알고리즘으로 완성도 높은 기여를 제시한다. 구조 불변성 달성의 이론적 엄밀성 강화 및 계산 복잡도 분석 추가가 필요하지만, 시퀀스 모델의 확장성과 기하학적 엄밀성의 트레이드오프 해결이라는 의미 있는 진전이다.