ProtoCol: Late Interaction Retrieval for Protein Homolog Search

Motivation

• Known: Protein language model(PLM)은 구조·진화 정보를 담은 context-aware residue embedding을 생성하며, 기존 PLM 기반 검색 파이프라인은 이를 mean-pooling하여 단일 벡터로 만든 뒤 cosine similarity로 후보를 비교해왔다. 또한 ColBERT 등 NLP 분야의 late interaction retrieval은 token-level MaxSim을 통해 fine-grained matching을 유지하면서도 document representation을 precompute할 수 있음이 알려져 있다.
• Gap: 단일 벡터로 pooling하는 기존 PLM 기반 검색 방식은 remote homology를 드러내는 conserved motif, domain, 국소적 잔기(residue) 정보를 희석시킬 위험이 있으며, alignment 기반 방법(BLAST, MMseqs2 등)은 global sequence similarity가 약한 twilight zone에서 민감도가 떨어진다. 반면 PLMAlign, pLM-BLAST 같은 residue-level PLM 방법은 명시적 alignment 경로 계산에 의존하여 비용이 크고, late interaction을 학습된 검색 메커니즘으로 단백질 도메인에 적용한 연구는 없었다.
• Why: Remote homology 검출은 기능 주석(function annotation), 구조 예측, 진화 분석의 기반이 되는 핵심 문제이며, sequence-only 방법으로 twilight zone에서의 민감도를 개선할 수 있다면 구조 정보 없이도 저비용으로 대규모 homolog search가 가능해져 실질적 파급력이 크다.
• Approach: ESM-2 backbone으로부터 얻은 residue-level embedding에 linear projection과 L2 normalization을 적용해 단백질을 embedding 집합으로 표현하고, ColBERT의 asymmetric MaxSim 연산으로 candidate와 query 간 residue-level 유사도를 계산한 뒤 in-batch negative 기반 symmetric InfoNCE로 대조학습한다.

Achievement

Figure 2. Overview of the ProtoCoL framework for protein homolog retrieval. Variable-length

1. ProtoCol 아키텍처 제안: 단백질을 residue embedding 집합으로 표현하고 MaxSim으로 점수화하는 late-interaction 검색 모델을 protein domain에 최초로 적용.
2. 효율적인 fine-tuning: ESM-2 35M의 대부분 layer를 freeze하고 상위 3개 transformer layer, LayerNorm, projection만 학습하여 33.6M 중 8.4M 파라미터만 학습.
3. 벤치마크 성능 우위: SCOPe superfamily 및 Pfam clan retrieval 벤치마크에서 sequence-composition(MinHash), alignment-based(MMseqs2), pooled PLM, 학습된 single-vector baseline을 모두 능가.
4. 후보 표현의 사전 계산 가능성 유지: 검색 효율성을 위해 candidate encoding을 query와 독립적으로 미리 계산 가능하도록 설계.

How

Figure 2. Overview of the ProtoCoL framework for protein homolog retrieval. Variable-length

• ESM-2 35M backbone(H=480, 12 layers)에서 residue별 contextual embedding h_t를 추출하고, linear projection W(D=128) 및 L2 normalization을 적용해 e_t 생성.
• 최종 3개 transformer layer, post-stack LayerNorm, W만 학습(freeze 나머지), 총 8.4M/33.6M 파라미터 학습.
• Query/candidate 각각의 residue embedding 집합 E_q, E_d에 대해 asymmetric MaxSim(Σ_i max_j ⟨e_q_i, e_d_j⟩)으로 유사도 계산, padding은 마스킹.
• SCOPe superfamily 또는 Pfam clan 기준으로 anchor-positive 쌍을 구성하고, batch 내 나머지를 negative로 사용해 symmetric InfoNCE loss로 학습(τ=1).
• AdamW, OneCycleLR(peak lr 2e-5, warmup 10%), 3 epoch, batch size 16, fp16, gradient clipping 1.0으로 단일 GPU 학습.
• 평가 시 group-disjoint train/test split을 사용해 각 단백질을 query로 삼아 나머지 test DB에서 self-match를 제외하고 검색, held-out evolutionary group(superfamily/clan) 공유 여부로 relevance 판단.
• MinHash Jaccard(5-mer), MMseqs2, pooled PLM, 학습된 single-vector 모델 등 다양한 baseline과 비교.

Originality

• NLP의 ColBERT late interaction paradigm을 단백질 homology search 도메인에 처음으로 적용, residue를 token에, 후보 단백질을 document에 대응시키는 개념적 매핑을 제시.
• 기존 alignment-oriented residue-level PLM 방법(PLMAlign, pLM-BLAST)과 달리 명시적 alignment path 계산 없이 학습된 MaxSim 기반 검색 메커니즘을 사용.
• Pooling bottleneck이라는 문제의식을 명확히 정의하고, sequence-composition/alignment/pooled PLM/trained single-vector라는 네 축의 baseline을 통해 late interaction의 기여를 체계적으로 분리 검증.

Limitation & Further Study

• 시퀀스 길이를 256 residue로 truncation하여 긴 단백질의 정보 손실 가능성이 있음.
• 단일 ESM-2 35M(소형) backbone에서만 실험되어 더 큰 PLM으로의 확장성 및 성능 스케일링이 검증되지 않음.
• Late interaction 방식은 pooled 방식보다 저장 공간 및 검색 시 계산 비용(모든 residue 쌍 비교)이 커질 수 있는데, 이에 대한 효율성/지연시간 분석이 본문 발췌에는 부재.
• In-batch negative에서 발생할 수 있는 accidental positive collision을 필터링하지 않아 학습 신호에 노이즈가 있을 수 있음.
• Structure 정보를 활용하는 Foldseek 등과의 직접 비교나 결합 가능성은 다루지 않아 향후 sequence-structure hybrid 검색으로의 확장이 후속 연구로 남음.

Evaluation

총평: ColBERT의 late interaction 개념을 단백질 homology search에 적절하고 참신하게 이식하여 pooling bottleneck 문제를 실증적으로 해결한 잘 설계된 연구로, 후속 확장성과 효율성 분석이 보완되면 더욱 완성도 높은 기여가 될 것이다.