CrossLLM-Mamba: Multimodal State Space Fusion of LLMs for RNA Interaction Prediction

Motivation

• Known: ESM-2와 RiNALMo 같은 BioLLM은 강력한 시퀀스 표현을 제공하지만, 기존 방법들은 정적 fusion 전략(concatenation, averaging, gating)에 의존하여 분자 binding의 동적·맥락-의존적 특성을 포착하지 못한다.
• Gap: 멀티모달 생물학적 상호작용 예측에서 모달 간 동적 정보 흐름과 sequential state transition을 모델링하는 접근법이 부족하며, 고차원 LLM 임베딩에 대해 선형 복잡도를 유지하면서 hard-negative 샘플에 강건한 fusion 메커니즘이 필요하다.
• Why: 정확한 RNA 상호작용 예측은 세포 조절 이해와 약물 발견을 위해 필수적이며, 현재 정적 fusion 방식의 한계를 극복하면 생물학적 상호작용 모델링의 정확도를 크게 향상시킬 수 있다.
• Approach: Bidirectional Mamba 인코더를 스택 구조로 배열하여 한 모달의 hidden state가 다른 모달로 흘러 들어가도록 하는 state-space alignment 문제로 상호작용을 재정의하며, Gaussian noise injection과 Focal Loss로 학습 강건성을 높인다.

Achievement

Figure 3: Performance Comparison on the RPI1460 Dataset. The boxplots

• RPI1460 벤치마크 성능: MCC 0.892 달성으로 종전 최고 대비 5.2%p 개선
• 선형 복잡도 유지: Transformer 기반 cross-attention의 이차 복잡도 대비 Mamba 기반 mixer로 선형 복잡도 달성, 고차원 BioLLM 임베딩 처리 시 계산 효율성 확보
• Multi-modal 통합 성능: RNA-단백질, RNA-RNA, RNA-소분자 3가지 상호작용 카테고리 모두에서 최고 성능 달성
• Binding affinity 예측: Riboswitch 및 repeat RNA 서브타입에서 Pearson correlation > 0.95 달성

How

Figure 2: The CrossLLM-Mamba Model Architecture. The framework processes multi-modal inputs (Protein, RNA, or Molecule f

• BioLLM(ESM-2, RiNALMo)으로부터 RNA, 단백질, 소분자의 시퀀스 임베딩 추출
• 임베딩을 stack 구조로 구성하여 bidirectional Mamba 인코더 입력으로 활용
• Mamba의 선택적 상태 공간 메커니즘(selective SSM)으로 모달 간 hidden state 전파 및 contextual crosstalk 모델링
• Gaussian noise injection으로 데이터 augmentation 및 모델 강건성 향상
• Focal Loss 적용으로 hard-negative 샘플에 대한 학습 가중치 조정
• 이진 분류(상호작용 유무) 또는 회귀(binding affinity) 태스크로 end-to-end 학습

Originality

• State-space alignment 패러다임: 생물학적 상호작용을 정적 feature overlap이 아닌 sequential state transition으로 재해석하는 개념적 혁신
• Dynamic crosstalk 메커니즘: Bidirectional Mamba의 hidden state propagation을 통해 모달 간 동적 정보 흐름을 명시적으로 모델링
• Modality-agnostic 프레임워크: 동일 아키텍처로 3가지 이질적 RNA 상호작용 카테고리를 통일적으로 처리 가능한 설계
• 선형 복잡도 달성: 고차원 BioLLM 임베딩을 효율적으로 처리하면서 state-of-the-art 성능 달성하는 확장성

Limitation & Further Study

• 구조적 정보 부재: BioLLM 기반 시퀀스 임베딩만 사용하며 3D 구조 정보(secondary structure, tertiary conformation)를 직접 포함하지 않아 구조-기반 binding specificity 포착 능력 제한 가능
• 학습 데이터 의존성: 실험적 상호작용 데이터의 편향 및 노이즈가 강건성 훈련(Focal Loss, noise injection)으로 완전히 해결되지 않을 수 있음
• 해석 가능성 부족: Mamba의 hidden state transition 메커니즘이 black-box 형태로, 어떤 sequence motif나 구조적 특징이 상호작용을 결정하는지 명확한 해석 어려움
• 후속 연구 방향: (1) 구조 예측 모델(AlphaFold, RNAsolo) 통합으로 3D 정보 포함, (2) Attention visualization 및 saliency map 기법으로 모델 해석 가능성 향상, (3) 더 큰 규모의 멀티모달 생물학적 데이터셋 수집 및 pre-training, (4) 임상 데이터와의 validation으로 실제 약물 발견 파이프라인 적용 가능성 검증

Evaluation

총평: CrossLLM-Mamba는 state-space 모델링으로 생물학적 상호작용 예측에 새로운 패러다임을 제시하며, Mamba의 선형 복잡도와 BioLLM 임베딩의 강력함을 효과적으로 결합하여 세 가지 RNA 상호작용 카테고리에서 최고 성능을 달성한 우수한 연구다.