Nested birth-death processes are competitive with neural networks as time-dependent models of protein evolution

Motivation

• Known: TKF91/TKF92는 substitution과 indel을 결합한 대표적 hierarchically nested CTMC 기반 alignment 모델로, exact finite-time solution을 통해 alignment-Markovian한 pair HMM likelihood P(Z, Y | X, t)를 제공한다. 최근에는 EvoFlows와 같은 neural network 기반 모델이 pseudo-likelihood 및 pseudotime을 사용해 substitution/indel rate를 학습하는 방식도 등장했다.
• Gap: 기존 CTMC 기반 모델은 site 간 상호작용이나 longer-range epistasis, local sequence context에 따른 indel rate 변화 등 복잡한 현상을 모델링하기 어려운 반면, unconstrained neural network는 evolutionary theory에 기반한 구조적 제약(예: alignment marginalization 가능성, 해석 가능한 rate parameter)을 결여하고 있어 두 접근법 간 직접적인 성능 비교와 하이브리드화가 부족했다.
• Why: 분자진화 이론에 기반한 CTMC 구조가 실제 protein alignment 데이터에 더 나은 fit을 제공할 수 있음을 보임으로써, 향후 neural phylogenetic 접근법에 CTMC 기반 구조를 통합하는 방향의 타당성을 제시하기 때문이다.
• Approach: TKF92에 추가적인 nesting과 latent state를 도입해 구조적 이질성(structural heterogeneity)을 포착하는 확장 모델을 제안하고, 이를 evolutionary time을 input feature로 사용하는 두 부류의 neural seq2seq 모델(constraint 없는 "basic" 클래스와 TKF92-like likelihood와 결합된 "hybrid" 클래스)과 Pfam 데이터셋 상에서 per-character perplexity로 비교했다.

Achievement

1. TKF92 확장 모델 개발: mixture와 composition을 통해 TKF92를 계층적으로 확장하여 exact solvability를 유지하면서도 표현력을 높인 여러 HMM 기반 모델을 제시했으며, 이 중 가장 표현력 있는 모델은 local sequence context에 따라 indel rate가 달라지도록 하는 최초의 HMM 기반 indel model이다.
2. Hybrid neural 모델의 우수성 입증: TKF92 기반 likelihood function과 neural sequence embedding을 결합한 hybrid 클래스가 모든 embedding architecture에서 evolutionary constraint가 없는 basic 클래스를 능가함을 보였다.
3. 소수 파라미터 모델의 경쟁력 입증: 단 30,000개 파라미터를 가진 nested TKF 기반 모델이 수천만 개 파라미터를 가진 neural network 대부분(테스트된 신경망 아키텍처 중 두 개를 제외한 전부)을 능가하는 성능을 보였다.
4. Alignment-Markovian 속성의 체계화: 모든 제안 모델이 alignment에 대해 엄격히 Markovian한 성질(alignment-Markovian property)을 만족하도록 설계하여, alignment를 likelihood에서 marginalize 가능하게 하는 원칙을 확립했다.

How

• TKF91/TKF92 pair HMM의 outer birth-death process(링크 단위)와 inner finite-state CTMC(residue 단위 substitution, F81 모델 사용)를 결합한 기본 구조를 채택
• alignment-Markovian 가정 하에 next alignment column의 분포를 이전 column, 조상/후손 서열 문맥, 경과 진화 시간에 대해 조건화하는 factorization 정의
• TKF92에 mixture of processes와 latent state를 추가로 도입해 site 간 이질적 selection pressure 및 local context 의존적 indel rate를 모델링(Sec. 5.2, Fig. 1)
• neural seq2seq 모델 두 클래스 구성: (1) evolutionary modeling constraint가 없는 "basic" 클래스, (2) neural sequence embedding과 TKF92-like likelihood function을 결합한 "hybrid" 클래스
• 학습 시 alignment를 명시적으로 cross-attention에 guide로 사용하여 Markovian evolutionary process에 대한 inductive bias 부여
• Pfam 데이터베이스의 정렬된 protein domain 데이터를 curation하여 train/test split을 구성하고, 모든 모델의 withheld alignment에 대한 cross-entropy(per-character perplexity)를 비교

Originality

• CTMC 기반 solvable indel model(TKF92)에 mixture와 nested latent state를 도입해 exact solvability를 유지하면서 구조적 이질성을 포착한 최초의 시도 중 하나로, local sequence context 의존적 indel rate를 갖는 최초의 HMM 기반 indel model을 제시함
• neural embedding과 고전적 CTMC likelihood를 결합한 hybrid 모델 클래스를 제안하여 해석 가능성과 표현력을 동시에 추구
• alignment를 neural network 학습 시 cross-attention의 명시적 guide로 사용함으로써 evolutionary process에 대한 inductive bias를 부여하는 방법론적 참신성
• "alignment-Markovian" 속성이라는 개념을 체계적으로 정의하여 HMM 기반 모델과 neural 모델을 공통 틀 안에서 비교 가능하게 함

Limitation & Further Study

• 비교 대상이 된 neural 모델들이 특정 아키텍처(seq2seq, cross-attention 기반)에 국한되어 있어, 더 다양한 최신 protein language model(예: 대규모 pretrained transformer)과의 비교가 부족할 수 있음
• Pfam의 aligned protein domain 데이터에 한정된 평가로, 실제 phylogenetic tree 상에서의 multi-sequence 상황이나 다른 생물학적 서열(예: DNA, RNA)로의 일반화 가능성은 검증되지 않음
• pseudotime 기반 접근(EvoFlows 등)과의 직접적 정량 비교가 제한적이며, 향후 다양한 진화적 시나리오(예: 강한 epistasis, 구조적 제약이 강한 도메인)에 대한 추가 검증이 필요함
• 후속 연구로 CTMC 기반 구조를 대규모 neural phylogenetic 프레임워크에 통합하는 확장 연구가 요구됨

Evaluation

총평: 고전적 분자진화 이론에 기반한 CTMC 모델이 소수의 파라미터로도 대규모 neural network에 필적하는 성능을 낼 수 있음을 실증적으로 보여준 흥미로운 연구로, neural phylogenetics 분야에 이론 기반 구조 통합의 중요성을 잘 제시한다.