Cross-Attention Over RNA And Protein Sequences Enables Generalizable Interaction Prediction

Motivation

• Known: RNA-단백질 상호작용(RPI)은 유전자 발현 조절의 기본이며, 현재의 계산적 예측 방법들은 벤치마크에서는 높은 성능을 보이지만 실제 일반화 능력은 제한적이라는 문제가 알려져 있다.
• Gap: 기존 방법들은 training과 test set 간 데이터 중복성 문제를 간과하고, RNA와 단백질 시퀀스를 독립적으로 인코딩한 후 늦은 단계에서만 결합하며, pretrained 언어모델을 동결된 특징 추출기로만 사용한다는 한계가 있다.
• Why: RNA-단백질 상호작용은 세포 조절의 핵심이며, 1,500개 이상의 RNA 결합 단백질과 수만 개의 RNA 간 상호작용을 특성화하는 것은 생물학적·치료학적으로 중요하면서도 실험적으로는 불가능한 규모이므로, 신뢰할 수 있는 계산적 예측이 필수적이다.
• Approach: pretrained ESM-2와 DNABERT2 모델을 Low-Rank Adaptation으로 fine-tuning하면서 bidirectional cross-attention 메커니즘으로 RNA-단백질 시퀀스 간 상호 의존성을 명시적으로 모델링하고, 데이터 중복성 문제를 해결하기 위해 random split, pairwise non-redundant split, component-wise non-redundant split의 세 가지 엄격한 분할 전략으로 벤치마킹한다.

Achievement

Figure 2 | Redundancy definitions for training-test partitioning of RNA-protein interaction datasets. (a) Two operationa

• CORAL의 우수한 성능: component-wise 평가에서 F1 score 0.65 달성 (기존 최고 방법 0.55)
• 벤치마크 신뢰성 제시: 데이터 중복성을 고려한 엄격한 평가 프레임워크로 기존 벤치마크의 성능 과대평가 문제 규명
• 생물학적 해석 가능성: cross-attention head가 309개 실험 구조 복합체에서 인터페이스 잔기에 27% 높은 어텐션을 보여 구조적 접촉 위치를 체계적으로 학습
• 방법론적 기여: bidirectional cross-attention과 parameter-efficient fine-tuning을 결합하여 pretrained 언어모델의 task-specific 적응과 계산 효율성 동시 달성

How

Figure 1 | Overview of CORAL Architecture. The model employs a dual-encoder framework with pretrained language models: D

• ESM-2와 DNABERT2를 dual-encoder로 설정하여 RNA와 단백질 시퀀스를 개별 인코딩
• bidirectional cross-attention 메커니즘으로 각 시퀀스가 상호 파트너의 특징을 조건부 학습
• Low-Rank Adaptation을 통한 parameter-efficient fine-tuning으로 언어모델 가중치 적응
• 세 가지 partitioning 전략 적용: (1) 무작위 분할 (2) 시퀀스 수준의 중복성 제거 (3) 단백질/RNA 컴포넌트 수준의 중복성 제거
• attention pattern 분석을 통한 구조적 접촉 위치와의 대응성 검증

Originality

• cross-modal attention의 RPI 응용: RNA-단백질 상호작용 예측에 bidirectional cross-attention을 처음 체계적으로 적용
• 데이터 중복성 문제의 체계적 규명: component-wise non-redundant partition이라는 엄격한 평가 프레임워크 제시
• parameter-efficient fine-tuning의 통합: LoRA를 활용한 pretrained 언어모델의 효율적 fine-tuning
• 생물학적 해석 가능성 분석: attention head의 구조적 의미 규명을 통한 투명한 모델 분석

Limitation & Further Study

• 데이터셋 규모의 제한: 현재 실험 구조 데이터가 309개 복합체로 제한되어 있어, 대규모 상호작용 예측에 대한 성능을 충분히 검증하기 어려움
• 계산 복잡도: bidirectional cross-attention으로 인한 계산 비용 증가에 대한 상세한 분석 부재
• 다른 생물학적 특징: 3차원 구조 정보나 evolutionary context 등 추가 생물학적 정보의 통합 가능성 미탐색
• 후속 연구: 더 큰 상호작용 데이터셋에 대한 검증과 다중모달 정보 통합 필요

Evaluation

총평: 본 연구는 RNA-단백질 상호작용 예측의 일반화 문제를 데이터 중복성 관점에서 처음 체계적으로 규명하고, cross-attention 기반 아키텍처와 엄격한 벤치마킹으로 신뢰할 수 있는 예측 프레임워크를 제시한 의미 있는 기여이며, 생물학적 해석 가능성 분석은 모델의 투명성을 강화한다.