Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

Motivation

• Known: RNA 2차 구조 예측은 핵심 생물학적 기능이며, Deep learning과 RNA foundation model의 성능이 향상되었다. 기존 벤치마크는 수열 유사도만으로 중복제거하여 구조적으로 유사한 RNA가 훈련/평가 경계에 양쪽에 존재할 수 있다.
• Gap: 현존 벤치마크는 구조 인식 중복제거 부재, 오래된 데이터 소스, 쌍 수준 점수만 사용하여 고차 위상 오류를 마스킹하고, 패딩된 접촉맵의 배치 의존성 문제가 있다.
• Why: 엄격한 분포 외 일반화 평가는 foundation model의 실제 전이 학습 능력을 판별하고, 견고한 RNA 구조 예측기 개발의 기초를 제공한다.
• Approach: 구조 기반 중복제거(structure-aware deduplication)와 RNArchitecture 기반 계층적 분할 설계를 통해 CHANRG를 구축하고, 패딩 없는 대칭 인식 평가 스택(padding-free, symmetry-aware evaluation stack)으로 29개 예측기를 평가했다.

Achievement

Fig. 1

• CHANRG 벤치마크 구축: Rfam 15.0 1천만 서열에서 구조 인식 중복제거를 거쳐 170,083개 비중복 RNA 수집, 구조 유사도 임계값(<0.9)으로 훈련/검증/테스트 및 3가지 분포 외 분할(GenA, GenC, GenF) 설계
• Foundation model의 분포 외 성능 붕괴: ERNIE-RNA, RiNALMo-Giga 등 FM 방법은 보유 정확도에서 최고지만 GenA/GenC/GenF에서 우위 대부분 상실
• 구조화 디코더의 견고성: EternaFold, CONTRAfold 등 Structured decoder(SD)와 bpFold, SPOT-RNA 등 Direct neural predictor(DL)가 분포 외에서 훨씬 더 견고한 성능 유지
• 계층적 평가 메트릭: Base pair F1, Bulge/Hairpin/Internal/Multiloop Loops F1, Stem F1, Topology F1, Topology GED를 통해 고차 위상 오류 검출
• 배치 불변 평가 프레임워크: Padding-free 구현으로 배치 구성에 따른 예측 변동성 제거 및 계산 효율 향상

How

Fig. 1

• Rfam 15.0에서 Primary sequence deduplication(<99% identity)으로 5.7M 서열 선정 후 Secondary structure deduplication(<0.9 identity)으로 170K RNA 확보
• RNArchitecture 계층 구조(Architecture-Clan-Family)를 따라 architecture-aware split 설계로 훈련 아키텍처에서 보유된 GenA(새로운 아키텍처), 훈련 클랜 외 GenC, 게놈 희박 GenF 구성
• bpRNA-CosMoS 기반 구조 유사도 계산으로 진정한 구조적 신규성 확보
• Padding-free, symmetry-aware 평가 스택으로 가변 길이 접촉맵 처리 및 대칭성 이용한 중복 계산 제거
• 29개 예측기(SD 11개, DL 4개, FM 14개)를 표준화된 전처리 및 채점 하에 벤치마킹
• MultiMolecule 프레임워크를 통해 모든 foundation-model baseline 통일 구현

Originality

• 구조 인식 중복제거 방법론: 수열 유사도 기반이 아닌 bpRNA-CosMoS 기반 2차 구조 유사도 메트릭으로 구조적으로 진정 비중복인 벤치마크 첫 구현
• RNArchitecture 기반 계층적 분할: RNA 생물학적 분류 체계를 평가 설계에 통합하여 아키텍처/클랜 수준 분포 외 전이 학습 평가
• 배치 불변 패딩 없는 평가 프레임워크: 가변 길이 접촉맵의 배치 맥락 의존성 문제를 최초 진단 및 해결, 재현성·효율성 동시 개선
• 계층적 위상 평가 메트릭: Junction wiring과 위상 매칭 오류를 포착하는 Topology F1, Topology GED 메트릭 도입
• 광범위 모델 클래스 비교: Structured decoder, Direct neural predictor, Foundation model 3가지 패러다임을 동일 조건에서 비교 평가

Limitation & Further Study

• 데이터셋 규모: 170K는 현대 foundation model의 훈련 규모에 비해 검증 세트로는 작을 수 있으며, 초장 서열(>5K nt) 부족
• 분포 외 설계 제한성: GenA/GenC/GenF는 생물학적으로 동기 부여되었지만, 실제 생물학적 응용(진화적으로 먼 RNA 등)을 모두 포괄하지 못함
• 예측 모델의 상한선: 본 연구는 벤치마크 제시이므로, 새로운 구조 인식 아키텍처 개발로 성능 향상의 여지 제시 부족
• 3차 구조 정보 미포함: 2차 구조만 평가하여 3차 구조 예측 능력 또는 동적 구조 변화 미포함
• 후속 연구: (1) 분포 외 일반화 개선을 위한 구조 인식 사전학습 전략, (2) 다중 구조 상태 예측, (3) 생물학적 조건 변화에 따른 구조 변동성 벤치마킹

Evaluation

총평: CHANRG는 구조 기반 중복제거, 계층적 분할 설계, 패딩 없는 평가 프레임워크로 RNA 2차 구조 예측 벤치마킹의 기준을 대폭 상향하였으며, foundation model의 분포 외 성능 붕괴를 명확히 입증하여 향후 견고한 예측기 개발의 중요한 지표를 제공한다.