Bi-TEAM: A Unified Cross-Scale Representation Learning Framework for Chemically Modified Biomolecules

Motivation

• Known: 단백질 언어모델(ESM, ProtT5, PeptideBERT)은 장거리 생물학적 맥락을 효과적으로 포착하지만 미세한 화학적 세부사항을 놓친다. 반면 화학 언어모델은 원자 정보를 인코딩하지만 더 넓은 서열 맥락이 부족하다. 비표준 아미노산(ncAA)의 처리는 기존 PLM에서 어휘 확장이나 근사화 전략으로 다루어졌으나 각각 의미론적 희소성과 화학적 편향을 야기한다.
• Gap: 기존 방법들은 생물학적 의미론과 화학적 정확성 사이의 근본적 트레이드오프를 해결하지 못했다. PLM은 ncAA와 PTM 같은 화학 변형에 대해 토큰 팽창 또는 의미론적 희소성 문제를 야기하고, CLM은 전역 생물학적 맥락 부재로 기능성 예측 성능이 제한된다.
• Why: 화학 변형 생체분자의 정확한 모델링은 약물 발견과 단백질 공학에 필수적이다. 특히 치료 펩타이드의 설계, 생물이용률 예측, 세포 침투 효율 등 임상적으로 중요한 특성들을 정확히 예측하기 위해 원자 수준의 화학적 정보와 진화적 맥락을 동시에 활용해야 한다.
• Approach: Bi-TEAM은 dual-view 표현을 구성한다: (i) ncAA를 가장 가까운 자연 아미노산으로 매핑하여 PLM 인코딩에 보존하고, (ii) SELFIES 유사 표현으로 CLM을 통해 원자 수준 변형을 캡처한다. 이후 bi-gated residual fusion 메커니즘과 modification-aware prompt를 통해 아미노산 수준과 원자 수준의 임베딩을 적응적으로 융합한다.

Achievement

Fig. 1: Overview of the Bi-TEAM framework. (a) Exploration of a unified pro-

주요 성과:

• 화학 변형 펩타이드: 임의 분할에서 MCC 15% 이상 향상, scaffold-similarity 분할에서 기존 방법 대비 66% MCC 개선
• PTM 예측: 약물성 예측 정확도 18% 증가
• 자연 펩타이드/단백질: 용혈성 예측에서 350% MCC 개선
• 생성 설계: 세포 침투 순환 펩타이드 생성 성공률 4배 증가
• 해석성: N-메틸화와 cis-펩타이드 결합 같은 중요 화학 변형의 영향을 정량화하며 의약 화학 직관과 일치

How

Fig. 1: Overview of the Bi-TEAM framework. (a) Exploration of a unified pro-

• 비표준 아미노산을 자연 아미노산으로 매핑하여 어휘 팽창 방지 및 진화적 신호 보존
• PLM으로 전역 생물학적 맥락 추출, CLM으로 원자 수준 화학적 세부사항 캡처
• Bi-gated residual mechanism으로 생물학적 표현을 의미론적 백본으로 유지하면서 화학적 신호를 적응적으로 주입
• Position-aware modification prompt로 화학 변형 위치를 명시적으로 지정
• 10개 데이터셋 (ncAA, PTM, 자연 단백질)에서 광범위 평가 실시

Originality

• 생물학적 의미론과 화학적 정확성의 근본적 트레이드오프를 해결하는 새로운 관점: 화학 변형을 독립적 표현이 아닌 구조화된 국소 교란으로 모델링
• Bi-gated residual fusion 메커니즘: 두 모달리티의 선택적 융합으로 생물학적 맥락 우위 유지
• Modification-aware prompt의 도입: 화학 변형이 전역 기능 표현에 영향을 미치도록 보장
• 어휘 확장 없이 ncAA와 PTM을 통합 처리하는 확장 가능한 설계

Limitation & Further Study

• 한계:
  • 현재 평가는 주로 펩타이드 수준에 초점, 더 큰 단백질에서의 성능은 미지수
  • CLM의 맥락 윈도우 제한으로 인해 매우 긴 서열 처리 시 제약
  • SELFIES 표현의 계산 복잡도가 명확히 논의되지 않음
  • 다양한 화학 변형 유형에 대한 체계적 분석 부족
• 후속 연구 제안:
  • 더 긴 단백질 서열에 대한 확장성 개선
  • 추가 화학 변형 유형에 대한 평가
  • 해석성 분석의 더욱 심화된 의약 화학적 검증
  • 생성 모델과의 통합 강화

Evaluation

총평: Bi-TEAM은 화학 변형 생체분자 분석을 위한 창의적이고 실용적인 해결책을 제시한다. 생물학적 진화론과 화학적 정확성을 효과적으로 통합하는 새로운 관점, 견고한 기술적 설계, 그리고 광범위한 실험적 검증을 통해 이 분야의 중요한 진전을 이룬다. 다만 더 큰 단백질과 다양한 화학 변형에 대한 일반화 성능 평가가 보강되면 영향력이 더욱 확대될 것이다.