BIOARC: Discovering Optimal Neural Architectures for Biological Foundation Models

Motivation

• Known: Transformer 기반 foundation model들이 NLP·CV에서 큰 성공을 거두었고, 이를 그대로 차용한 AlphaFold, ESM, Nucleotide Transformer, Evo 등 생물학적 foundation model들이 다수 개발되어 왔다. 또한 CNN과 Transformer를 결합한 하이브리드 아키텍처나 GenomeNet-Architect와 같은 도메인 특화 NAS 시도도 존재한다.
• Gap: 기존 생물학적 foundation model은 인간 언어를 위해 설계된 Transformer 구조를 그대로 차용해 생물학적 서열 고유의 긴 문맥 처리와 국소적 구조 모티프 포착이라는 이중 요구를 동시에 만족시키지 못한다. 또한 기존 NAS는 동질적(homogeneous) 공간 내 미세 최적화나 최대 2-way 하이브리드 조합에 국한되어 있어, 아키텍처·토크나이제이션·학습 전략 간 복잡한 상호작용을 고려한 개방형(open-ended) 이종 아키텍처 탐색이 부재하다.
• Why: 생물학적 서열은 자연이 설계한 시스템으로 그 근본 원리(예: 단백질 설계의 물리화학적 법칙)가 아직 완전히 밝혀지지 않았기 때문에, NLP처럼 직관에 기반한 설계 원칙이 통하지 않는다. 따라서 데이터 기반의 자동화된 아키텍처 발견 방법론은 차세대 효율적 생물학적 foundation model 개발에 필수적인 방향을 제시한다.
• Approach: BioArc는 CNN, LSTM, Transformer, Mamba, Hyena 등 5가지 기본 블록을 조합해 깊이(depth), 블록 타입(block type), 은닉 차원(hidden dimension)이 자유롭게 변하는 이종 supernet을 구성하고, 이를 학습·평가하여 최적의 하이브리드 경로(path)를 발견하는 NAS 프레임워크이다.

Achievement

Figure 2. This figure illustrates the top five performing DNA model architectures (Arch 1-5), identified by averaging th

1. 소형 고성능 하이브리드 아키텍처 발견: 다양한 생물학적 태스크에서 기존 최첨단 모델을 능가하면서 최대 25배 작은 새로운 하이브리드 아키텍처를 발견했다.
2. 통합 테스트베드 제공: 아키텍처, 토크나이제이션, 최적화 전략 간의 복잡한 상호작용을 체계적으로 분석하여 실행 가능한 설계 원칙을 도출했다.
3. 생물학적 해석 가능성 검증: 세밀한 해석 가능성 분석을 통해 발견된 토폴로지가 계층적으로 알려진 생물학적 조절 메커니즘(예: promoter grammar)을 포착함을 입증했다.
4. 에이전트 기반 아키텍처 예측 프레임워크: 새로운(unseen) 태스크에 대해 전수 탐색 없이 효율적으로 최적 아키텍처를 예측하는 agentic framework를 제안했다.

How

Figure 1. This figure provides an overview of the four core stages of the BioArc framework. (1) Search Space Design: Def

• 기본 블록 집합 M(CNN, LSTM, Transformer, Mamba, Hyena)을 정의하고, 각 경로 a는 네트워크 깊이 d, 블록 타입 튜플 m, 은닉 차원 튜플 h로 구성됨
• 이종 supernet을 구축하여 여러 후보 경로를 동시에 포함하는 탐색 공간을 형성
• Supernet 학습(3.2절) 이후 모든 후보 아키텍처를 평가·랭킹하는 절차(3.3절)를 통해 최적 아키텍처 선정
• DNA와 protein 모달리티에서 실증적으로 검증하고, RNA·단일세포 데이터 등 다른 모달리티로 일반화 가능함을 주장
• 발견된 아키텍처에 대해 계층적 해석 가능성 분석(예: Hyena 레이어가 promoter grammar의 저수준 특징 추출)을 수행
• 아키텍처 성능을 구조적 특성으로부터 직접 예측하는 agentic/predictor 프레임워크를 도입해 새로운 태스크에 대한 탐색 비용 절감

Originality

• 기존 NAS가 동질적 공간이나 최대 2-way 하이브리드에 국한된 것과 달리, 5가지 이질적 연산 프리미티브(CNN, LSTM, Transformer, Mamba, Hyena)를 자유롭게 조합하는 개방형(open-ended) 이종 탐색 공간을 최초로 제안
• 아키텍처, 토크나이제이션, 학습 전략의 상호작용을 통합적으로 분석하는 테스트베드 설계
• NAS 결과를 단순 성능 지표를 넘어 생물학적 문법(biological grammar)의 계층적 해석과 연결지어 검증
• 탐색 비용을 줄이기 위한 agentic 아키텍처 예측 프레임워크 도입으로 NAS와 예측 모델을 결합

Limitation & Further Study

• 5가지 기본 블록으로 탐색 공간을 제한했기 때문에 향후 더 다양한 최신 연산자(예: state-space 변형, 그래프 기반 모듈)를 포함한 확장이 필요함
• DNA와 단백질 모달리티에 대한 실증만 제시되어 있고 RNA, 단일세포 데이터 등에 대한 일반화는 주장 수준에 그침(실험적 검증 부족 가능성)
• 이종 supernet 학습 및 랭킹 과정의 계산 비용(특히 대규모 탐색 공간에서)에 대한 구체적 분석이 본문 발췌에서 명확히 드러나지 않음
• Agentic 프레임워크의 예측 정확도와 일반화 한계(새로운 태스크나 도메인 전이 시)에 대한 심층적 검증이 추가로 필요함

Evaluation

총평: 생물학적 foundation model 설계에 직관 대신 데이터 기반 NAS를 도입한 시의적절하고 실용적인 연구로, 이종 탐색 공간과 생물학적 해석 가능성 검증을 결합한 점이 특히 인상적이나, 탐색 공간의 확장성과 다양한 모달리티에 대한 추가 검증이 향후 과제로 남는다.