Multi-Dimensional Spectral Geometry of Biological Knowledge in Single-Cell Transformer Representations

Motivation

• Known: Biological transformer의 해석성에 대한 선행 연구는 주로 attention pattern 분석에 집중했으나, 이들이 perturbation prediction에서 실질적 가치를 제공하지 못하며, residual-stream geometry가 미탐색 영역임이 지적되었다.
• Gap: Residual stream의 기하 구조가 어떤 생물학적 정보를 인코딩하는지, 그리고 이러한 구조가 실제로 해석 가능한 생물학적 의미를 담는지에 대한 체계적 분석이 부재했다.
• Why: Single-cell foundation model의 내부 표현 구조를 이해하는 것은 regulatory network inference, drug target prioritization 등 임상 응용의 신뢰성을 확보하고, 모델이 실제 생물학적 원리를 학습했는지 검증하기 위해 필수적이다.
• Approach: Automated hypothesis screening을 통해 63회 반복으로 13개 가설 family로부터 183개 가설을 검증하되, explicit permutation control, confound check, cross-seed replication을 적용하여 SVD 기반 spectral analysis를 수행했다.

Achievement

Figure 1: Spectral structure and biological organization across transformer depth. (a) SV1 variance fraction

• SV1 축은 secretory pathway 인코딩: 분비 단백질 vs. 세포질 단백질 분리 (GO enrichment OR=6.37, p=2.6×10⁻⁴), 중간 층에서 mitochondria → ER → extracellular space의 생물학적 순서 재현
• SV2 축은 protein interaction network 및 regulatory 관계 인코딩: TRRUST transcription factor-target 쌍이 기대치보다 높은 빈도로 공면화 (0.206 vs. 0.122, p<0.001), activation 쌍과 repression 쌍의 기하학적 구분
• SV3 축은 면역 신호 생물학 인코딩: kinase/stress-response vs. MHC class II/T cell 규제 생물학 분리
• 6-차원 subspace에서 transcription factor 구분: AUROC=0.744 (12층 모두 유의), 초기층은 특정 target 유지, 심층은 "regulator vs. regulated" 구분으로 압축
• 세포 유형 marker 기하: AUROC=0.851로 높은 충실도의 세포 유형별 클러스터링

How

Figure 1: Spectral structure and biological organization across transformer depth. (a) SV1 variance fraction

• Singular Value Decomposition (SVD)을 12개 transformer 층 전체에 적용하여 effective rank, TwoNN intrinsic dimensionality, participation ratio 측정
• Gene-label-shuffle null (N=500)을 이용한 생물학적 특이성 검증
• GO term enrichment 분석으로 각 spectral axis의 생물학적 의미 규명
• TRRUST database 기반 transcription factor-target 쌍 co-localization 검증
• Cross-seed replication (3개 random seed)으로 robustness 확인
• Annotation-density confounder 체크로 GO 주석 편향 제거
• Gene-label-shuffle, embedding feature shuffle 등 negative control 적용

Originality

• Residual-stream geometry를 통한 biological transformer의 체계적 해석성 분석은 선행 attention 기반 접근과 구별되는 새로운 관점 제시
• Secretory pathway 단계의 기하학적 재현은 모델이 단순 통계 암기를 넘어 생물학적 프로세스를 학습함을 보여주는 혁신적 발견
• Transcription factor 특이성 분석과 repression edge의 기하학적 위상(topography) 구분은 regulation type 차별화의 처음 실증적 증거 제시

Limitation & Further Study

• 분석 대상이 scGPT로 제한되며, Geneformer 등 다른 단일세포 foundation model로의 일반화 검증 부재
• 6-차원 subspace의 선택 기준이 명확하지 않으며, 이 차원이 정보학적으로 최적인지에 대한 정당화 부족
• Repression edge의 기하학적 두드러짐이 생물학적으로 의미 있는지, 또는 모델 훈련 데이터의 불균형 반영인지 구분 불명확
• 후속 연구: 다중 foundation model 간 기하 구조 비교, 각 spectral axis의 인과적 역할 검증 (ablation study), biological perturbation과의 직접 연결 검증 필요

Evaluation

총평: 본 논문은 단일세포 foundation model의 internal geometry를 정량적으로 해석하는 새로운 방법론을 제시하고, residual stream이 생물학적으로 의미 있는 구조화된 표현을 학습함을 설득력 있게 입증하여, biological transformer 해석성 분야에서 중요한 기여를 한다. 다만 단일 모델 분석과 선택된 subspace 차원의 정당화 부족이 일반화 가능성을 제한한다.