GENEB: Why Genomic Models Are Hard to Compare

Motivation

• Known: genomic machine learning 분야는 지난 10년간 Transformer 기반, decoder-only, state-space model 기반 등 다양한 아키텍처와 tokenization, pretraining 전략을 가진 모델들이 급증했으며, Nucleotide Transformer tasks, GUE/GUE+, Genomic Benchmarks, BEND, DNALongBench 등 여러 벤치마크가 존재한다.
• Gap: 기존 벤치마크들은 서로 다른 태스크 구성과 평가 프로토콜을 사용하고 제한된 수의 모델만 다루어, 모델 간 직접적이고 원칙적인 비교가 불가능하며, 동일 모델이 맥락에 따라 획기적 성과 혹은 저조한 성능으로 상반되게 보고되는 문제가 있다.
• Why: 모델 규모와 아키텍처가 급속히 발전하면서 성능 우월성 주장이 점점 대담해지고 있음에도 이를 검증할 재현 가능한 cross-model 평가 체계가 부재해, 실제 진전과 과장된 주장 사이의 간극이 커지고 있다.
• Approach: frozen representation을 경량 classifier(logistic regression)로 probing하는 통일된 프로토콜을 통해 40개 모델을 100개 태스크에서 1-shot, 10-shot, full-data 세 가지 few-shot 설정으로 평가하고, MCC(Matthews Correlation Coefficient)를 기준 지표로 사용해 모델 규모·아키텍처·tokenization·pretraining data 간의 상호작용을 체계적으로 분석한다.

Achievement

1. 대규모 통합 벤치마크 구축: 40개 genomic foundation model과 100개 태스크(13개 기능 범주)를 아우르는 최초의 대규모 통일 평가 프레임워크 GENEB를 제시하여 NLP 분야의 MTEB에 상응하는 역할을 genomic ML에 부여함.
2. 집계 리더보드의 불안정성 실증: 모델 순위가 태스크 범주에 따라 크게 달라지며, 단일 aggregate 순위표가 신뢰할 수 없음을 정량적으로 보임.
3. Scale-Performance Disconnect 발견: 모델 크기와 성능 간 유의미한 상관관계(ρ=0.565, EVO-1-131K 제외 시 ρ=0.685)가 있음에도, 36개 in-domain 모델 중 31개 사례에서 5배 이상 작은 모델이 더 큰 모델을 능가함을 확인.
4. 범주별 scaling correlation 분석: 13개 기능 범주 각각에 대해 모델 크기와 성능 간 상관관계를 개별적으로 산출하여 아키텍처·pretraining alignment가 파라미터 수보다 중요할 수 있음을 밝힘.

How

• 40개 사전학습된 genomic foundation model의 frozen embedding을 추출하고 logistic regression(max_iter=1000) probing classifier로 평가
• 100개 태스크를 1-shot, 10-shot, full-data 세 가지 데이터 규모 조건에서 평가하고 5개 고정 랜덤 시드(13, 17, 42, 123, 997)로 평균 산출
• 평가지표로 클래스 불균형에 강건한 MCC를 채택하고, 10^5개 초과 시퀀스 태스크는 서브샘플링하여 계산 효율성 확보
• Spearman 상관분석을 통해 log(parameter count)와 macro-MCC 간 관계를 전체 및 범주별(Table 1)로 산출
• micro-averaging과 macro-averaging 두 가지 집계 방식 간 순위 상관(ρ=0.988)을 검증해 결과의 견고성 확인
• non-linear probing 및 정규화 강도 민감도에 대한 추가 검증을 부록에서 수행

Originality

• 40개 모델 × 100개 태스크라는 전례 없는 규모로 genomic foundation model을 통일된 프로토콜 하에 직접 비교 가능하게 한 최초의 시도
• 단순 aggregate 성능이 아니라 태스크 범주별 trade-off를 명시적으로 드러내는 진단형(diagnostic) 벤치마크 설계
• few-shot(1-shot, 10-shot) 및 full-data 레짐을 모두 포함하여 데이터 효율성 측면의 비교까지 포괄
• scale, architecture, tokenization, pretraining data 등 다차원 요인을 통제된 방식으로 동시에 분석하는 체계적 접근

Limitation & Further Study

• probing 프로토콜이 logistic regression 기반 선형 분류기에 의존하므로, 비선형 downstream task에서의 실제 활용 성능을 완전히 반영하지 못할 가능성이 있음(비록 부록에서 non-linear probing 안정성을 일부 검증했다고 주장)
• 100개 태스크가 모두 DNA classification 태스크로 한정되어 있어, regression이나 generative task 등 다른 유형의 genomic task에 대한 일반화 가능성은 검증되지 않음
• 10^5 시퀀스 초과 시 서브샘플링을 적용하는데, 이로 인해 일부 대규모 태스크에서의 평가가 실제 성능을 과소/과대평가할 위험이 있음
• 후속 연구로는 non-DNA(RNA, protein 등) 모델과의 통합 비교, generative 또는 zero-shot 평가 프로토콜 확장, 그리고 커뮤니티 기반의 지속적 업데이트 체계 구축이 필요함

Evaluation

총평: GENEB는 파편화된 genomic foundation model 평가 생태계에 절실히 필요했던 통일적이고 대규모의 진단 벤치마크를 제공하며, aggregate leaderboard의 불안정성과 scale-performance 관계의 복잡성을 실증적으로 드러낸 의미 있는 기여이다. 다만 probing 기반 평가의 한계와 태스크 유형의 편중은 향후 확장이 필요한 지점으로 남는다.