Learning Protein Structure-Function Relationships through Knowledge-guided Representation Decomposition

Motivation

• Known: ESM3, Foldseek, GearNet 등 pretrained protein micro-environment representation은 구조 검색, clustering, 기능 예측 등에서 뛰어난 transferability를 보이는 것으로 알려져 있으며, InfoVAE, FactorVAE, β-TCVAE 등 information-theoretic 기반 disentangled representation learning 기법들이 latent factor 간 의존성을 줄이는 데 활용되어 왔다.
• Gap: 기존 protein structural embedding은 geometric, physicochemical, topological 신호가 하나의 latent space에 뒤섞여 있어 해석 가능성과 fold를 넘어서는 일반화가 제한되며, sparse autoencoder 기반 disentanglement 연구들도 대부분 sequence-level embedding에 대한 post-hoc 분석에 그치고 구조적/물리적 지식에 명시적으로 연결된 information-theoretic 제약이 부재하다.
• Why: 구조-기능 관계를 매개하는 해석 가능한 knowledge channel을 명시적으로 분리해내면, fold는 유사하지만 기능이 다른 단백질을 구별하고 structure-based split과 같이 일반화가 어려운 상황에서도 강건한 성능을 얻을 수 있어, 단백질 구조 모델링의 mechanistic interpretability와 generalization을 동시에 향상시킬 수 있다는 점에서 중요하다.
• Approach: ESM-3 등 pretrained structural encoder로 얻은 entangled structural embedding s를 secondary structure, solvent accessibility, flexibility, packing density, curvature 등 8개의 사전 정의된 biophysical/geometric knowledge variable에 대응하는 knowledge channel Zk와 잔여 정보를 담는 residual channel Zc로 분해하며, 각 채널을 information bottleneck objective(min I(Zk;s) − βk I(Zk;Yk))로 학습하여 정보 완전성을 유지하면서 채널별 최소충분통계량을 얻는다.

Achievement

Figure 2. Knowledge-specific representation analysis. Left: mutual information gain heatmap comparing each knowledge emb

1. 12개 downstream task에서 일관된 성능 향상: ProtDiS로 분해된 representation이 열두 개의 downstream task 전반에서 baseline 대비 일관된 개선을 보였으며, 특히 structure-based split에서 가장 큰 향상 폭을 기록했다.
2. fold-function 분별력 향상: protein-level 및 residue-level 분석에서 ProtDiS가 유사한 fold를 가지지만 기능이 다른 단백질들을 효과적으로 구별해내고, 세밀한 biophysical 신호를 포착함을 입증했다.
3. 정보 효율적이고 독립적인 knowledge channel 구성: 학습된 각 knowledge channel이 특정성(specificity), 독립성(independence), 정보 효율성(information-efficiency) 측면에서 개선된 구조적 특징을 제공함을 mutual information 및 독립성/완전성 분석을 통해 검증했다.

How

Figure 5. Main architectures of ProtDiS. a, Pipeline for computing structural descriptors. Core structural features are

• pretrained structural encoder(e.g., ESM-3)로부터 고차원 structural embedding s를 추출
• secondary structure, solvent accessibility, flexibility, local packing density, geometric curvature 등 구조로부터 직접 계산 가능한 K개의 knowledge variable Y = {Y1,...,YK}를 정의
• 각 knowledge variable에 대응하는 parameterized encoder fk를 통해 knowledge channel Zk = fk(s)를 생성하고, 별도의 encoder fc를 통해 잔여 정보를 담는 residual channel Zc = fc(s)를 생성
• information bottleneck objective min_{Zk} I(Zk; s) − βk I(Zk; Yk)를 최적화하여 각 채널이 해당 knowledge variable에 대한 minimal sufficient statistic이 되도록 학습
• strict statistical independence 대신 redundancy-reduction 원리를 채택하여 상관관계가 존재하는 biophysical property 간 complementary information을 보존
• 전체 knowledge channel과 residual channel을 합쳐 원본 structural embedding s를 재구성함으로써 information completeness를 보장

Originality

• 기존 unsupervised disentanglement(InfoVAE, FactorVAE, β-TCVAE)와 달리, 구조로부터 직접 계산되는 명시적 biophysical/geometric knowledge variable로 disentanglement를 anchor하여 해석 가능성과 기능적 관련성을 동시에 확보
• pretrained protein micro-environment representation을 대상으로 information bottleneck 관점에서 knowledge-guided factorization을 최초로 체계적으로 적용
• 완전한 통계적 독립성 대신 redundancy-reduction 원리와 residual channel을 도입해 정보 손실 없는 factorization을 설계함으로써, 기존 sparse autoencoder 기반 post-hoc interpretability 연구와 차별화되는 first-principle 기반 접근을 제시
• causal/invariance 관점에서 knowledge channel을 mechanism-level variable로 해석하여 structure-based split에서의 일반화 성능 향상을 이론적으로 설명

Limitation & Further Study

• 8개의 사전 정의된 knowledge variable 선택이 다소 임의적일 수 있으며, 어떤 biophysical property를 포함/제외하는지에 따라 disentanglement 품질과 downstream 성능이 달라질 가능성에 대한 체계적 ablation이 본문 발췌에서는 충분히 드러나지 않음
• information bottleneck objective의 실제 최적화(변분 근사, βk 하이퍼파라미터 설정 등) 세부 구현과 그 민감도에 대한 논의가 제한적
• 제안된 방법이 ESM-3와 같은 특정 pretrained encoder에 의존하는데, 다른 구조 encoder나 다양한 단백질 패밀리에 대한 일반화 가능성에 대한 추가 검증이 필요
• residual channel이 실제로 얼마나 의미 있는 잔여 정보를 담는지, 혹은 단순히 noise를 흡수하는지에 대한 심층 분석이 후속 연구로 요구됨

Evaluation

총평: 단백질 구조 표현학습에서 information bottleneck과 knowledge-guided decomposition을 결합해 해석 가능하고 기능적으로 유의미한 latent space를 구성한 참신하고 실용적인 접근으로, 구조-기능 관계 규명에 기여할 만한 견고한 연구이다.