What Do Biological Foundation Models Compute? Sparse Autoencoders from Feature Recovery to Mechanistic Interpretability

Motivation

• Known: 기존에 알려진 사실은 protein language model(ESM 등)과 genomic language model(DNABERT, Nucleotide Transformer 등)이 서열 데이터에서 구조적·기능적 정보를 학습하며, attention analysis, attribution methods, probing tasks, Jacobian-based dependency analysis 등의 behavioral 해석 방법으로 이를 검증해왔다는 것이다.
• Gap: 기존 behavioral 방법들은 모델이 무엇을 인코딩하는지는 보여주지만, 생물학적 지식이 내부적으로 어떻게 조직화되고 계산되는지 규명하지 못한다. 또한 SAE 기반 특징 검증이 거의 전적으로 기존 주석과의 매칭에 의존하므로, 훈련 데이터베이스와 주석이 같은 원천에서 파생될 경우 순환성 문제가 발생할 수 있다.
• Why: 파운데이션 모델은 약물 설계, 변이 해석, 유전자 조절 예측 등에 광범위하게 배포되고 있는데, 모델의 내부 표현이 불투명하면 생물학적 통찰과 모델 기반 결정에 대한 신뢰를 제한한다. 따라서 모델이 학습한 것이 진정한 생물학적 메커니즘인지 훈련 데이터 통계인지 구분하는 것이 중요하다.
• Approach: 논문은 먼저 behavioral 해석 방법들(attention analysis, attribution, probing, Jacobian-based dependency analysis)의 성과와 설명적 한계를 체계적으로 검토한 후, sparse autoencoder를 활용한 접근법을 소개하고, SAE의 아키텍처 진화와 생물학적 목표로의 매핑을 추적하며, 단백질·게놈 및 대체 모달리티 전반에 걸친 응용 사례를 종합한다.

Achievement

Figure 1. Overview of behavioral interpretation methods for biological foundation models. (A) Attention analysis extract

SAE 적용 범위 확대: 1년 미만의 기간에 단백질 언어 모델, 게놈 언어 모델, 병리학 vision transformer, 단일세포 파운데이션 모델, 단백질 구조 생성기 등 다양한 생물학적 파운데이션 모델에 SAE 분석이 적용됨. 수렴적 증거: 서로 다른 아키텍처와 평가 전략을 사용한 독립적 연구들이 일관되게 2차 구조 요소, 기능 도메인, transcription factor binding site, regulatory element 등 생물학적 규모에 걸친 특징을 복구. 세 가지 해석성 프레임워크 제안: representational, computational, mechanistic 수준의 위계적 해석 틀 도입.

How

Figure 1. Overview of behavioral interpretation methods for biological foundation models. (A) Attention analysis extract

• Behavioral 해석 방법의 성과와 한계를 세부적으로 검토(주의 분석의 순환성, attribution 방법의 해석성 문제 등)
• SAE의 기본 원리(고차원 활성화 공간을 희소하게 활성화되는 특징의 초과완비 사전으로 분해)를 명확히 설명
• 단백질·게놈 언어 모델, vision transformer, 구조 예측 모델 등 다양한 아키텍처에서의 SAE 응용 사례를 종합
• 세 수준의 해석성 프레임워크(표상적, 계산적, 메커니즘적)를 제시하여 단순 특징 목록화를 넘어선 메커니즘 이해의 경로를 제안
• Deep mutational scanning, massively parallel reporter assay, 구조 특성화 등 실험적 검증 전략을 제시

Originality

• 해석성 프레임워크의 위계화: 기존 단순한 특징 복구를 넘어 representational, computational, mechanistic의 세 수준을 구분하여, SAE 기반 해석의 목표를 명확히 한 점이 독창적
• 생물학적 파운데이션 모델의 SAE 응용 종합: 자연어 처리 중심의 기존 SAE 연구와 달리 생물학 전용 데이터 구조, 검증 기회, 하위 유틸리티의 차이를 인식하면서 생물학적 응용의 특수성을 강조
• 순환성 문제 명시: 기존 주석과의 매칭 검증의 한계를 명확히 지적하고, 실험적 검증의 필요성을 체계적으로 제시

Limitation & Further Study

• 검증의 순환성 문제: SAE 특징 검증이 거의 전적으로 기존 주석과의 매칭에 의존하는데, 주석이 모델과 동일한 훈련 데이터베이스에서 파생되었을 경우 진정한 독립 검증이 불가능. 실험적 검증의 부재: 논문 발행 당시 대부분의 SAE 분석이 아직 peer-reviewed 검증을 거치지 않았으며, 깊은 돌연변이 스캔이나 대규모 병렬 리포터 분석 등의 실험적 검증이 거의 수행되지 않음. 메커니즘 이해의 거리: 계산적 및 메커니즘적 해석이 아직 개념적 수준에 머물러 있으며, 실제 인과적 메커니즘 규명까지의 경로가 명확하지 않음. SAE 아키텍처 표준화 부재: 다양한 아키텍처 변형이 사용되고 있어 결과의 비교 가능성이 제한됨.

Evaluation

총평: 이 논문은 생물학적 파운데이션 모델의 해석성에 관한 체계적이고 균형 잡힌 리뷰를 제공하며, sparse autoencoder가 내부 계산 조직을 규명하는 새로운 도구임을 명확히 한다. 다만 현장의 대부분 연구가 peer-reviewed 검증 이전 상태이고, 실험적 검증과 인과적 메커니즘 규명의 경로가 아직 확립되지 않아, 진정한 생물학적 이해로의 전환이 앞으로의 과제이다.