What Topological and Geometric Structure Do Biological Foundation Models Learn?

Motivation

• Known: scGPT와 Geneformer 같은 single-cell 파운데이션 모델이 cell-type annotation, gene perturbation prediction 등 다운스트림 태스크에서 우수한 성능을 보인다. 언어 모델의 mechanistic interpretability 연구에서 신경망 표현이 선형 개념 표현, 계산 회로 등 구조화된 특성을 인코딩함이 알려져 있다.
• Gap: 생물학 트랜스포머가 선형 기하 구조를 인코딩함은 알려졌으나, embedding space가 루프, manifold 곡률, 커뮤니티 경계, 방향성 비대칭 등 심층 비선형 위상·기하 구조를 학습하는지, 그리고 엄격한 null 제어 하에서 그 구조가 생존하는지는 미해결. 전통적 가설 주도 연구는 광대한 가설 공간과 출판 편향으로 인해 이를 체계적으로 매핑하기 어렵다.
• Why: 파운데이션 모델의 내부 표현이 생물학적 의미를 인코딩한다면 regulatory relationship, protein interaction, pathway organization 등 발견에 활용 가능하지만, 그렇지 않으면 "생물학적 지식" 주장이 불안정한 기반 위에 있다. 따라서 구조의 실제성과 한계를 명확히 구분하는 것이 모델 신뢰도와 활용성 평가에 필수.
• Approach: AI 기반 executor–brainstormer 루프가 52 iteration을 거쳐 persistent homology, manifold distance, cross-model alignment, community structure, directed topology 등 9개 가족으로 조직된 141개 기하·위상 가설을 자동 제안·검증. 세 개의 tissue domain, 세 개의 random seed, disjoint gene-pool split을 통해 복제하고, feature-shuffle null부터 strict max-null audit까지 계층적 null 제어를 적용.

Achievement

• 비자명 위상 구조 발견: persistent homology가 12개 transformer layer 중 11개 이상에서 p < 0.05로 유의미하며, 모든 domain에서 12/12 layer에서 유의 (가장 약한 domain에서도 검증)
• Manifold 거리 우월성: manifold-aware metric이 Euclidean distance보다 regulatory gene pair 식별에서 우수하며, multi-level distance hierarchy 확인
• Regulatory 커뮤니티 구조: graph community partition이 알려진 transcription factor–target relationship을 추적
• Cross-model 부분적 수렴: scGPT와 Geneformer 간 canonical correlation 0.80, gene retrieval accuracy 72%로 "gene space의 형태"에는 동의하나, 19개 방법 모두 gene-level 대응 안정적 복구 실패
• 조직 특이성: 엄격한 null 제어 하에서 robust signal이 immune tissue에 국한되며, lung과 external-lung 신호는 fragile

How

• OpenAI Codex 5.3 ("extra high" reasoning)으로 powered된 autonomous executor–brainstormer loop: executor가 가설 명세를 받아 self-contained Python 실험 실행, 정량 보고서 생성; brainstormer가 누적 결과 검토하여 미탐색 가설 공간 제안
• Tabula Sapiens atlas에서 lung, immune, external-lung 세 tissue domain의 single-cell expression profile을 scGPT (12 layer) 및 Geneformer V2-316M (18 layer)에 입력하여 residual-stream gene embedding 추출
• DoRothEA, TRRUST, STRING, Gene Ontology로부터 regulatory ground truth 수집
• 계층적 null 제어: feature-shuffle null (20–24 replicates), label-permutation null (120–200 replicates), degree-preserving rewiring null (k=12~35), coexpression-matched null (5×5 binning), strict max-null audit (모든 null family 95th percentile 최대값 비교)
• Disjoint gene-pool split으로 information leakage 방지; 세 개 random seed, PCA 차원 축소 (10–20 components) 적용

Originality

• Autonomous hypothesis screening 프레임워크: 전통적 가설 주도 연구의 publication bias 극복을 위해 AI 기반 자동 루프로 141개 가설을 체계적으로 기록·검증하는 방법론적 혁신
• 계층적 null 모델 설계: feature-shuffle에서 coexpression-matched, strict max-null audit까지 점진적으로 엄격해지는 5단계 null 제어로 실제 신호와 통계 artifact 경계를 명확히 규명
• 생물학 파운데이션 모델의 위상 구조 규명: 선형 기하를 넘어 persistent homology, manifold geometry, 방향성 위상 등 심층 구조를 종합적으로 분석한 첫 대규모 연구
• Cross-model 부분적 수렴의 발견: 모델 간 "shape"는 동의하나 gene-level 대응 실패는 모델 설명 불가능성을 정량화한 새로운 통찰
• Tissue 특이성 발견: 신호가 immune tissue에 국한되며 다른 domain에서 fragile함을 strict audit으로 밝힘으로써 일반화 한계 명시

Limitation & Further Study

• Autonomous brainstormer가 OpenAI Codex에 의존하므로, LLM의 고유한 bias가 가설 제안 과정에 영향을 미칠 수 있으며, 가설 공간의 완전성 보장 불가
• Gene embedding 추출 시 PCA 차원 축소 (10–20 components)를 사용하여 원본 embedding 정보 손실 가능성; 고차원 위상 특성을 일부 놓칠 수 있음
• Regulatory ground truth (DoRothEA, TRRUST, STRING)가 정확하지 않거나 미완성일 수 있으며, 특히 cell-type 및 tissue-specific regulation을 완전히 포착하지 못함
• Cross-model alignment에서 공유 vocabulary (약 320 genes)로 제한되어, 전체 gene space의 alignment는 평가 불가
• Immune tissue에서만 robust signal이 존재한다는 발견은 데이터 편향 또는 immune cell 특성상 regulatory structure가 더 명확할 가능성도 제기하므로, 생물학적 해석에 신중 필요
• 후속 연구: (1) 다른 tissue domain에서 signal 강화 방안 탐색; (2) perturbation 실험으로 embedding geometry가 actual causal regulation 예측 능력 검증; (3) 더 큰 gene pool 및 cross-species 비교로 일반화 검토; (4) Mechanistic interpretability 기법 (attention head ablation, causal intervention)과 연계하여 위상 구조의 함수적 역할 규명

Evaluation

총평: 본 논문은 AI 기반 자동 가설 선별이라는 혁신적 방법론으로 생물학 파운데이션 모델의 위상·기하 구조를 체계적으로 규명하고, 엄격한 null 제어와 부정적 결과 기록을 통해 실제 신호와 artifact의 경계를 명확히 한다. 그러나 tissue 특이성, PCA 차원 축소의 정보 손실, 데이터 한계 등으로 인해 발견의 일반화 가능성은 제한적이며, 파운데이션 모델 해석 분야에 중요한 방법론적 기여와 함께 생물학 모델 신뢰도 평가의 새로운 기준을 제시하는 우수한 연구.