Orthrus: toward evolutionary and functional RNA foundation models

Motivation

• Known: 게놈 기반 기초모델은 대규모 데이터셋을 통해 자기지도학습(self-supervised learning)으로 사전훈련되며, 이를 생물학 예측 과제에 적응시킬 수 있다. 그러나 기존 모델들은 텍스트 도메인에서 차용한 전략을 사용하여 생물학적 도메인 지식을 충분히 활용하지 못한다.
• Gap: 기존 reconstruction 기반 자기지도학습 목표들은 게놈 데이터의 낮은 자연적 다양성과 높은 상호정보량으로 인해 정보량이 낮은 토큰을 복원하는 경향이 있으며, mRNA 속성 예측에 최적화되지 않은 표현을 생성한다. 개별 전사체 isoform의 기능을 주석달기는 오랫동안 미해결 과제로 남아있다.
• Why: mRNA의 속성과 기능은 서열과 밀접하게 연결되어 있으며, 이를 정확히 예측하면 단백질 발현 조절, 질병 메커니즘 규명, mRNA 백신 개선 등 광범위한 생의학 응용이 가능하다. 소량의 레이블 데이터로도 효과적인 학습이 가능한 모델이 필요하다.
• Approach: 생물학적 증강(augmentation)을 활용한 대조학습 목표로 Mamba 인코더를 사전훈련하되, 10종 모델 생물의 스플라이싱 isoform 쌍과 400+ 포유류 orthologous 전사체 쌍을 양성 쌍으로 구성하여 기능적·진화적 유사성을 인코딩한다.

Achievement

Fig. 2 | mRNA property prediction using Orthrus. a, Evaluation of Orthrus’s

• 효율성: 기존 게놈 기초모델 대비 수 배 더 적은 파라미터(Small 1.3M)로 우수한 성능 달성
• 다중 과제 성능: 선형 프로브 및 미세조정(fine-tuning) 모두에서 자기지도 기초모델 및 지도학습 방법을 능가
• 저데이터 환경 강점: mRNA 반감기 예측에서 단 30개의 레이블 샘플로 효과적 미세조정 가능
• Isoform 기능 분류: 모델 잠재공간에서 RNA isoform을 공통 기능으로 그룹화하여 개별 스플라이싱 isoform 주석의 오랜 과제에 진전

How

Fig. 1 | Overview of Orthrus. a, Contrastive dataset construction: we treated

• 대조학습(contrastive learning) 데이터셋 구성: GENCODE/RefSeq에서 10종 생물의 대체 스플라이싱 isoform 쌍 식별
• Project Zoonomia의 TOGA 자원을 활용하여 400+ 포유류 종의 orthologous 전사체 쌍 매핑 (32M 고유 전사체, 887M+ 양성 쌍)
• Mamba 인코더를 통해 양성 쌍 sequences를 처리하고 decoupled contrastive learning (DCL) loss로 코사인 유사도 최대화
• 사전훈련 후 projection head 제거하고 Mamba 인코더 출력을 직접 임베딩으로 사용
• 선형 프로브 및 미세조정을 통해 mRNA 반감기, RNA 국소화 등 다양한 속성 예측 과제에서 평가

Originality

• 게놈 기초모델에 생물학적 도메인 지식을 명시적으로 인코딩: 스플라이싱과 진화적 보존을 통해 기능 유사성을 정의한 대조학습 목표
• Mamba 아키텍처 도입으로 가변 모티프 간격 학습, 문맥 필터링, 서열 길이에 대한 선형 메모리 스케일링 달성
• reconstruction 기반이 아닌 contrastive 기반 자기지도학습으로 게놈 데이터의 낮은 다양성 문제 우회
• 이전의 텍스트 도메인 차용 방식에서 벗어나 RNA 생물학 특화 설계

Limitation & Further Study

• 사전훈련 데이터가 주로 포유류(특히 Eutheria) 및 선택된 모델 생물에 집중되어 있어, 다양한 생물 종이나 희귀 전사체에 대한 일반화 성능이 미검증됨
• 선형 프로브와 미세조정 성능을 평가했지만, 전이학습(transfer learning) 성능과 도메인 간 적응성에 대한 분석 부족
• 개별 isoform 기능 클러스터링의 생물학적 검증이 제한적이며, 정량적 유효성 평가 필요
• 대조학습 쌍 구성 전략이 스플라이싱과 orthology에만 한정되어 있어, 다른 생물학적 기능 유사성 신호 활용 가능성 미탐색
• 후속연구 방향: (1) 비포유류 생물에 대한 모델 확장 및 평가, (2) isoform 기능 주석에 대한 실험적 검증, (3) 다른 RNA 유형(lncRNA, miRNA 등) 확장, (4) 질병 관련 또는 희귀 전사체 예측 능력 평가

Evaluation

총평: Orthrus는 생물학적 원리에 기초한 대조학습을 통해 기존 게놈 기초모델의 한계를 극복하며, 파라미터 효율성과 저데이터 환경에서의 강력한 성능으로 실용적 가치가 높다. 개별 RNA isoform 기능 주석이라는 오랜 과제에 진전을 제시하는 점에서 RNA 생물학 및 분자의학 분야에 상당한 기여가 기대된다.