Protein Circuit Tracing via Cross-layer Transcoders

Motivation

• Known: Sparse autoencoders (SAEs)와 per-layer transcoders (PLTs)는 단백질 언어 모델의 표현을 해석 가능한 특징으로 분해하지만, 레이어 간 변환을 포착하지 못해 전체 회로를 복원할 수 없다는 제한이 알려져 있다.
• Gap: 기존 SAE 및 PLT 방식은 각 레이어를 독립적으로 근사하므로 깊이에 따른 문맥과 계산의 누적을 포착하지 못해 신뢰할 수 있는 회로 규명이 불가능하다. 이는 pLM의 전체 계산 회로를 이해하는 데 근본적인 한계가 된다.
• Why: 단백질 설계, 구조 예측, 기능 분석 등 다양한 생명과학 응용에서 pLM의 내부 계산 메커니즘을 이해하는 것이 중요하며, 특히 식별된 회로를 조향하여 고기능의 단백질을 설계할 수 있게 하는 것은 과학적·실용적으로 매우 의미 있다.
• Approach: CLTs는 각 MLP 레이어의 입력-출력 매핑을 모든 선행 레이어의 희소 잠재 변수의 함수로 모델링한다. TopK 활성화 함수로 희소성을 강제하고, 엔코더-디코더 구조로 레이어별 재구성을 수행하며, MSE 손실과 보조 손실의 결합으로 훈련한다.

Achievement

Figure 2. Overview of ProtoMech. a, Cross-layer transcoders (CLTs) form a replacement model that captures inter-layer co

• 회로 규명 및 성능 복원: ESM2에서 단백질 패밀리 분류 89%, 기능 예측 82% 성능 달성 및 PLT 대비 우위 입증
• 압축 회로 발견: 전체 잠재 공간의 <1% 사용하면서 패밀리 분류 79%, 기능 예측 74% 성능 유지
• 회로 조향 기반 단백질 설계: 식별된 회로 조향으로 71% 이상의 경우에 기준선을 초과하는 고적합도 변이체 생성
• 생물학적 해석성: Binding, signaling, stability 등 구조 및 기능 모티프와 일치하는 계산 경로 복원

How

Figure 2. Overview of ProtoMech. a, Cross-layer transcoders (CLTs) form a replacement model that captures inter-layer co

• CLTs를 ESM2-8M (6 레이어, 320 차원)에 적용하고 UniRef50에서 샘플링한 500만 개의 단백질 수열로 훈련
• 회로 발견 알고리즘으로 작업별 희소 잠재 부분집합 식별
• 식별된 회로에 대한 조향 메커니즘으로 원하는 기능을 갖춘 단백질 설계
• 시각화 도구로 숨겨진 생물학적 모티프 노출

Originality

• Cross-layer 의존성 모델링: 기존 레이어별 독립적 근사에서 벗어나 모든 선행 레이어의 잠재 변수에 의존하는 명시적 모델링은 새로운 접근
• pLM 기계적 해석성 적용: Natural Language Processing의 transcoders 개념을 단백질 언어 모델에 처음 체계적으로 적용
• 회로 조향 기반 단백질 설계: 단백질 설계에 회로 조향을 활용한 것은 이전 연구와 차별화되는 응용

Limitation & Further Study

• CLT 훈련 과정의 계산 비용과 확장성이 명시적으로 다루어지지 않음
• ESM2-8M (작은 변형)에만 적용되었으며, 더 큰 pLM 모델에 대한 적용 가능성 불명확
• 회로 조향으로 생성된 변이체에 대한 wet-lab 검증 부재
• 압축 회로 선택 기준이 명확하지 않으며, 생물학적으로 가장 중요한 회로 우선순위 결정 방법 미흡

후속 연구: 더 큰 모델에 대한 확장, 실험적 검증, 생물학적으로 검증된 모티프와의 정량적 비교, 다양한 단백질 작업에 대한 적용

Evaluation

총평: ProtoMech은 pLM의 계산 회로 규명을 위한 엄밀한 프레임워크를 제시하며, Cross-layer Transcoders를 통해 기존 방법의 근본적인 한계를 극복한다. ESM2에서 높은 성능 복원률과 생물학적으로 타당한 회로 발견, 그리고 단백질 설계에서의 실용적 성공을 보여주는 강력한 논문이다.