Predicting evolutionary rate as a pretraining task improves genome language model representations

Motivation

• Known: 기존 gLM들은 자연어처리에서 영감을 받은 NTP나 MLM 같은 서열 재구성 과제로 사전학습되며, 파인튜닝 후 전사인자 결합 예측 등 다운스트림 과제에서 좋은 성능을 보인다고 알려져 왔다. 또한 PhyloP score와 같은 진화 속도 지표는 기능적 중요도를 반영하는 강력한 예측자로 오랫동안 bioinformatics에서 활용되어 왔다.
• Gap: 최근 연구들은 서열 재구성 기반 gLM이 단순 baseline보다 못하거나 무작위 초기화된 동일 아키텍처와 차이가 없다는 것을 보여주었으며, zero-shot 평가나 생물학적으로 근거 있는 벤치마크가 부족한 상황이다. 또한 진화 속도를 gLM 사전학습 목표로 직접 활용하고 이를 서열 재구성과 결합·비교한 연구는 거의 없었다.
• Why: 진화 속도는 기능적 중요도와 밀접히 연관된 신호이므로 이를 사전학습에 직접 활용하면 labeled data 없이도 조절 유전체학(regulatory genomics) 이해를 높일 수 있는 gLM을 구축할 수 있어, 개인 맞춤 의학, 신약 개발, 합성 생물학 등에 큰 영향을 줄 수 있다.
• Approach: 진화 속도(PhyloP score)를 예측하는 두 가지 새로운 사전학습 과제(CEP, MEM)를 서열 재구성 과제(NTP, MLM)와 조합 가능하도록 설계하고, 동일 아키텍처(Gamba 모델)로 서열만, 진화 속도만, 혹은 둘의 조합으로 학습한 모델을 통제된 비교로 평가한다.

Achievement

Figure 2. Ability of models to distinguish functional regions. A) Balanced accuracy across models for separating functio

1. 새로운 사전학습 과제 제안: 진화 속도를 예측하는 CEP(current evolution prediction)와 MEM(masked evolution modeling)을 도입하여 각각 NTP, MLM과 조합 가능하도록 설계함.
2. 통제된 비교 실험: 동일한 아키텍처와 학습 데이터를 사용해 서열만, 진화 속도만, 혹은 둘 다 학습한 Gamba 모델들을 비교하여 진화 속도 예측이 표현 품질을 일관되게 향상시킴을 입증.
3. 생물학적으로 근거 있는 zero-shot 벤치마크 개발: 기존 평가 방식의 한계(지도 분류기 학습, 무작위 초기화 baseline 부재, 샘플링 편향)를 해결하는 새로운 평가 suite를 구축.
4. 경쟁력 있는 소형 모델: 진화 속도로 학습된 상대적으로 작은 모델이 인간 유전체의 일부 과제에서 훨씬 큰 기존 gLM과 경쟁력 있는 성능을 보임을 확인.

How

Figure 2. Ability of models to distinguish functional regions. A) Balanced accuracy across models for separating functio

• PhyloP score를 진화 속도의 대표 지표로 사용하여 CEP(자기회귀적, 이전 위치까지의 서열로 현재 위치의 진화 속도 예측)와 MEM(양방향, 부분적으로 마스킹된 서열로 모든 위치의 진화 속도 예측)을 설계
• CEP는 NTP와, MEM은 MLM과 조합 가능하도록 하여 sequence-only, evolutionary-rate-only, sequence+evolutionary-rate 세 가지 학습 방식을 비교
• 동일 아키텍처("Gamba" 모델, 아마도 Mamba 계열 기반)와 동일 학습 데이터로 학습하여 통제된 ablation 수행
• 기능적 유전체 영역(프로모터, 인핸서, UCNE, 엑손 등)을 구분하는 zero-shot 분류 과제와 유전 부호(genetic code) 이해를 평가하는 과제, 그리고 기존 variant effect prediction(VEP) 벤치마크를 활용해 표현 품질 평가
• 무작위 초기화 baseline과 다양한 난이도의 negative set을 포함하여 평가의 신뢰성 확보

Originality

• 서열 재구성이 아닌 진화 속도(PhyloP score) 자체를 예측하는 것을 gLM 사전학습 목표로 직접 도입한 최초 시도 중 하나(PhyloGPN과 유사하나 차별화)
• CEP/MEM을 모든 위치에서 예측하도록 설계하여 PhyloGPN처럼 입력당 단일 중심 뉴클레오타이드만 예측하는 방식보다 학습 효율이 높음
• 진화 속도 예측 과제를 서열 재구성 과제(NTP, MLM)와 명시적으로 조합 가능하게 설계하여, 동일 아키텍처/데이터에서 sequence-only, evolution-only, combined 학습을 통제 비교한 최초의 ablation 연구
• MSA를 입력으로 요구하지 않아 합성 서열 등 자연 상동서열이 없는 경우에도 적용 가능하다는 실용적 이점 확보
• 무작위 초기화 baseline, 다양한 난이도의 negative set, zero-shot 평가를 포함하는 새로운 생물학적으로 근거 있는 벤치마크 suite 구축

Limitation & Further Study

• 논문 발췌 내용상 PhyloP score라는 특정 진화 속도 추정치에 의존하고 있어, 다른 진화 지표(예: dN/dS, GERP 등)와의 비교나 일반화 가능성은 불명확함
• 상대적으로 작은 "Gamba" 모델로 실험했다고 언급되어 있어, 대형 모델로 확장 시에도 동일한 이점이 유지되는지 추가 검증 필요
• 인간 유전체 중심의 평가로 보이며, 다른 종 또는 비모델 유기체에 대한 일반화 가능성에 대한 논의가 제한적일 수 있음
• MSA 없이 단일 서열만으로 진화 속도를 예측하도록 설계했지만, PhyloP 라벨 자체가 다중 종 정렬에서 유도된 것이므로 완전히 MSA 의존성에서 자유롭다고 보기는 어려움
• 후속 연구로는 다양한 진화 속도 추정 방법과의 비교, 더 큰 스케일에서의 검증, 비인간 유전체로의 확장이 필요해 보임

Evaluation

총평: 진화 속도 예측을 gLM 사전학습 목표로 명시적으로 도입하고 서열 재구성과의 통제된 비교를 통해 그 효과를 체계적으로 검증한 점에서 의미 있는 기여를 하는 연구이며, 생물학적으로 근거 있는 평가 프레임워크 구축 또한 향후 gLM 연구에 유용한 자원이 될 것으로 기대된다.