How Do Co-folding Models Organize Structural Information?

Motivation

• Known: AlphaFold3 계열의 co-folding model들은 sequence로부터 전체 biomolecular assembly를 end-to-end로 정확히 예측할 수 있으며, 단일 체인 folding model(ESMFold, AlphaFold2 등)에 대해서는 activation patching, 표현 기하학, training dynamics 분석 등을 통한 해석가능성 연구가 상당히 진행되었다.
• Gap: co-folding model은 단일 체인 folding에는 없는 inter-chain pair block을 추가로 갖기 때문에 기존 단일 체인 분석 방법이 직접 전이되지 않으며, 이 multi-chain 특유의 표현이 무엇을 인코딩하고 layer를 거치며 어떻게 구축되는지는 아직 실질적으로 규명되지 않았다.
• Why: co-folding model이 구조 정보를 표현 내에서 어떻게 분산·조직하는지 이해하면, 향후 biomolecular structure prediction model을 설계할 때 partition-aware한 아키텍처 설계 지침을 제공할 수 있어 구조 기반 신약 개발 등 실용적 응용에도 기여할 수 있다.
• Approach: Boltz-1 트렁크의 pair representation을 intra-chain(Zintra)과 inter-chain(Zinter) 블록으로 분해한 뒤, ablation, layer-wise representation geometry 분석, linear probing, 그리고 apo-holo activation patching이라는 네 가지 상호보완적 기법을 고정된 diffusion module 위에서 적용하여 각 표현 스트림의 정보 내용과 depth에 따른 형성 과정을 조사한다.

Achievement

Figure 4. Activation patching results. Each panel plots, per system,

1. 표현의 기능적 분리 규명: single representation은 token-internal 원자 수준 세부정보를, intra-chain pair representation은 chain-level 기하구조를, inter-chain pair representation은 분자 간 상대적 배치를 각각 담당함을 ablation을 통해 실증.
2. Mix-Compress-Refine 궤적 발견: 트렁크 depth 전반에 걸쳐 표현이 Mix-Compress-Refine과 유사한 layer-wise geometry 변화를 따르며, linear probe 결과 intra-chain distance 정보는 주로 MSA preconditioning에서 공급되고 inter-chain distance 정보는 매 recycle마다 Pairformer layer를 거치며 점진적으로 구축됨을 규명.
3. 트렁크-확산 모듈 간 역할 분담 발견: apo-holo patching 실험으로 ligand 유도 backbone 변화가 diffusion 이전에 완전히 해소되지 않으며, diffusion module이 부분적으로 불일치하는 intra/inter-chain 제약을 사후에 조정(reconcile)함을 보임.

How

Figure 3. Layer-wise construction of pair representations across the trunk. a) linear probe global pooled R2 for decoded

• Ablation: 트렁크 최종 표현 S, Zintra, Zinter에 각각 독립적으로 zeroing, mean, Gaussian(평균+분산 기반) 개입을 채널 단위로 적용하고, 동일한 frozen diffusion module로 디코딩하여 구조 품질 변화를 CASP15+CASP16 데이터셋에서 측정
• Representation geometry: 각 층의 pair/single representation을 행렬로 재구성한 뒤 singular-value 통계를 이용해 층별 압축/확장 패턴을 정량화(Skean et al. 2025 방법론 기반)
• Linear probing: pairwise distance 정보가 intra/inter-chain 표현에 얼마나, 언제(어느 recycle/layer) 인코딩되는지 probe로 측정
• Activation patching: apo/holo conformer 쌍 간 표현을 교체하는 patching 실험으로 ligand 유도 구조 변화가 트렁크와 diffusion module 중 어디서 해소되는지 분석

Originality

• co-folding model의 pair representation을 intra-chain/inter-chain 블록으로 명시적으로 분해하여 분석한 최초의 체계적 시도로, 단일 체인 folding 해석 연구(ESMFold, AlphaFold2 분석)와 차별화됨
• ablation, representation geometry, linear probing, activation patching이라는 네 가지 상호보완적 해석 기법을 동일한 frozen diffusion module 위에서 통합 적용하는 방법론적 설계
• apo-holo patching을 통해 트렁크와 diffusion module 간 정보 처리의 역할 분담(트렁크의 불완전한 해소 vs 확산 모듈의 조정 기능)을 규명한 관점 제시

Limitation & Further Study

• Boltz-1이라는 단일 co-folding model에 대한 분석으로, 결과가 AlphaFold3나 다른 co-folding model(Chai-1, Protenix 등)에도 일반화되는지는 검증되지 않음
• 분석 대상 시스템이 CASP15/CASP16 및 apo-holo 케이스 스터디에 국한되어 있어 대규모 다양한 복합체(예: 다중 리간드, 대형 복합체)에 대한 통계적 검증이 부족할 수 있음
• linear probe 및 representation geometry 분석은 상관관계 기반 해석이므로 인과적 메커니즘을 완전히 입증하기 어려우며, 후속 연구로 patching 결과를 활용한 partition-aware 아키텍처 설계 및 실제 성능 개선 검증이 필요함

Evaluation

총평: co-folding model의 내부 표현을 intra/inter-chain으로 분해하여 각 표현 스트림의 역할과 트렁크-확산 모듈 간 정보 처리 분담을 명확히 규명한 견고한 해석가능성 연구로, 향후 모델 설계에 실질적 시사점을 제공한다.