CLAMP: A Mechanistic Probe of Regulatory Structure in Foundation Models under Single-Cell Perturbations

Motivation

• Known: 기존 연구는 scFM을 fine-tuning하거나 downstream predictor를 통해 perturbation response를 예측하는 방식(GEARS, CPA, AttentionPert 등)으로 평가되어 왔으며, 이러한 regression 기반 벤치마크는 scFM이 additive/mean baseline보다 낮은 성능을 보인다는 사실을 반복적으로 보고해왔다.
• Gap: 예측 정확도 기반 평가는 embedding 자체의 정보 손실과 이를 읽는 predictor의 실패를 구분하지 못하는 confound 문제가 있어, scFM이 regulatory structure를 애초에 recoverable한 형태로 보존하는지 여부를 알 수 없다는 근본적 공백이 존재한다.
• Why: scFM 사전학습에 투입되는 막대한 자원 대비 실제로 무엇을 학습했는지에 대한 mechanistic 설명이 없다는 점은, 이 모델들이 in-silico perturbation prediction과 target discovery 등 실용적 응용에 신뢰성 있게 사용될 수 있는지를 판단하는 데 핵심적인 문제이다.
• Approach: CLAMP은 perturbation을 학습된 ODE 상의 coordinate clamp로 재정의하고, 단일 shared gene regulatory network를 모든 single-gene perturbation 조건에 걸쳐 differentiable dynamical model로 fitting하며, encoder를 교체 가능한 모듈로 두어 recovery quality 자체를 encoder의 regulatory structure 보존 능력에 대한 probe로 활용한다.

Achievement

Figure 3. Structural validation of the recovered adjacency. (A) Combined subnetwork of the top-25 recovered targets per

1. Identity encoder를 통한 genuine recovery 검증: identity encoder로 복원한 adjacency network가 독립적인 ChIP-seq 및 lineage signature와 정합하며, combinatorial training data 없이 held-out double-gene perturbation(CEBPA+CEBPE 등, ρnonadd=+0.98)을 예측함으로써 복원된 구조가 실제 regulatory structure임을 확인했다.
2. 최초의 scFM별 mechanistic 계층 분석: scGPT, scPRINT, Stack, Tahoe-x1 네 가지 foundation model을 layer 단위로 CLAMP를 통해 읽어, 각 모델이 regulatory structure를 어떻게(어느 층에서 얼마나) 보존하는지에 대한 최초의 기계론적 설명을 제공했다.
3. Tractable joint fitting 프레임워크 구축: implicit differentiation을 통한 fixed-point solver로 gradient 비용을 solver depth와 분리시켜, Perturb-seq gene-panel 규모에서 단일 shared network의 joint fit을 실현 가능하게 만들었다.

How

Figure 4. Per-layer recovery decomposition and its geometric corroboration for the four foundation-model encoders. Held-

• Gene 발현 벡터 x∈R^G에 대해 dxi/dt = bi + Σ Aij h(xj;n,K) − γxi 형태의 Hill-kinetics ODE로 regulation을 모델링.
• 각 CRISPR perturbation을 해당 유전자를 관측값에 고정(clamp)하는 제약으로 취급하고, 나머지 유전자는 이 clamp 하에서 steady state로 relax.
• 모든 single-gene 조건에 걸쳐 하나의 shared adjacency matrix A를 fitting하며, predicted와 observed steady state를 frozen encoder(Identity, PCA, scGPT, scPRINT, Stack, Tahoe-x1) 임베딩 공간에서 shift 기반 loss로 비교.
• Forward pass는 damped fixed-point solver로 steady state를 계산하고, backward pass는 encoder를 통한 VJP와 fixed point에 대한 implicit differentiation을 결합해 depth-independent G×G solve로 ∂L/∂A를 계산.
• 복원된 network를 ChIP-seq, lineage signature와 대조하고, held-out double-gene perturbation에 대해 추가 clamp를 적용해 예측 성능 검증.
• 각 scFM의 layer별 recovery를 kept structure, non-linearity loss, rank loss로 분해하여 linearized ceiling 대비 분석(Figure 4).

Originality

• 예측 정확도가 아니라 명시적 dynamical system을 fitting하여 regulatory network를 직접 복원함으로써, embedding의 정보 보존 여부와 predictor 성능을 분리하는 새로운 평가 패러다임 제시.
• CRISPR perturbation을 ODE 상의 coordinate clamp로 재정의하는 독창적 정식화.
• encoder-agnostic 인터페이스 설계를 통해 Identity, PCA, 다양한 scFM을 동일한 fitting 절차 하에서 교체 가능하게 만들어, encoder 자체를 "probe"의 대상으로 전환한 점.
• implicit differentiation을 통한 fixed-point solver의 depth-independent gradient 계산으로 Perturb-seq 규모에서 shared nonlinear kinetics network의 joint fitting을 실현.

Limitation & Further Study

• 모델이 single-gene perturbation 기반 steady-state snapshot에 의존하므로, 시간적 동역학(temporal dynamics)이나 pseudotime 정보를 활용하지 못해 transient response는 포착하기 어려움.
• Hill kinetics와 shared decay rate 등 특정 함수 형태를 가정하고 있어, 실제 생물학적 조절 기전이 이러한 parametric form에서 벗어날 경우 recovery 품질이 저하될 수 있음.
• 검증된 데이터셋(Perturb-seq, ChIP-seq, lineage signature)의 범위가 제한적이며, 더 큰 gene panel이나 다양한 세포 타입에 대한 일반화 가능성은 추가 검증이 필요.
• 후속 연구로 다중 조건(multi-perturbation) 데이터, 다른 종류의 perturbation(화학적 처리 등)에 대한 확장, 그리고 non-TF-restricted network로의 일반화가 필요.

Evaluation

총평: 예측 정확도라는 confound된 척도를 우회하여 scFM의 regulatory structure 보존 여부를 기계론적으로 검증하는 참신하고 방법론적으로 탄탄한 접근이며, single-cell foundation model 평가 방법론에 중요한 새 방향을 제시한다.