Genome-Factory: A Library for Tuning, Deploying, and Interpreting Genomic Foundation Models

Motivation

• Known: LLaMA-Factory와 같은 general-purpose language model fine-tuning framework는 통합된 튜닝 도구를 제공하지만, genomic 데이터 형식(FASTA), NCBI 연동, 도메인 특화 전처리, biology-informed loss function, 해석가능성 등 genomics 고유의 요구사항은 다루지 않는다. HyenaDNA, DNABERT-2, Caduceus, Nucleotide Transformer, EVO, GenomeOcean 등 다양한 GFM이 개별적으로 존재하지만 이들을 통합 관리하는 플랫폼은 부재했다.
• Gap: 엔지니어는 모델 학습·배포는 가능하나 생물학적 맥락에 대한 이해가 부족하고, 생물학자는 실험 설계와 과학적 목표 설정은 가능하나 대형 모델에 대한 전문성이 부족한 도메인-기술 간 간극이 존재한다. 또한 이종 환경에서 개발된 genomic model들의 비표준화된 의존성, 도메인 특화 벤치마크 부재, 해석가능성 도구 부재로 인해 GFM 연구·적용 전체 파이프라인을 지원하는 통합 플랫폼이 없었다.
• Why: GFM은 epigenetic prediction, regulatory element discovery, species classification 등 생명과학 핵심 과제에서 뛰어난 성능을 보이지만, 통합 플랫폼의 부재로 실제 생명과학 연구 현장에서의 채택이 제한되어 왔다. 이러한 간극을 해소하는 도구는 personalized medicine, evolutionary biology, functional genomics 등 폭넓은 분야에서 GFM 활용을 가속화할 수 있다.
• Approach: GENOME-FACTORY는 데이터 수집부터 모델 튜닝, 추론, 벤치마킹, 생물학적 해석까지 여섯 개 모듈로 구성된 통합 파이프라인을 제공하며, sparse auto-encoder 기반의 open-source biological interpreter를 도입해 학습된 embedding을 해석 가능한 genomic feature와 연결한다.

Achievement

Figure 2. Trade-off between tuning efficiency and performance. The figure shows memory usage in gigabytes (GB), throughp

1. 여섯 모듈 통합 프레임워크: Genome Collector, Model Loader, Model Trainer, Inference Engine, Benchmarker, Biological Interpreter를 하나의 라이브러리로 통합해 GFM 개발의 전체 workflow를 단순화·표준화했다.
2. 다양한 모델·튜닝 방법 호환성: HyenaDNA, DNABERT-2, Caduceus, Nucleotide Transformer 등 discriminative model과 EVO, GenomeOcean 같은 generative model을 지원하며, full fine-tuning과 LoRA·adapter 같은 parameter-efficient fine-tuning을 모두 지원함을 검증했다.
3. 벤치마킹 검증: GUE(Genome Understanding Evaluation) Benchmark와 Genomic Benchmarks 두 개의 open-source benchmark를 활용해 downstream 성능을 평가했다.
4. 생물학적 해석 검증: DNABERT-2의 학습된 representation을 sparse auto-encoder 기반 Biological Interpreter로 해석하여, embedding을 생물학적 특징과 연결할 수 있음을 보였다.
5. 사용자 친화적 인터페이스 제공: zero-code CLI와 Gradio 기반 WebUI를 제공하여 비전문가와 숙련된 개발자 모두가 최소한의 엔지니어링 노력으로 사용할 수 있도록 했다.

How

Figure 1. Overview of GENOME-FACTORY. The framework consists of six components. Genome Collector acquires genomic

• Genome Collector: NCBI 등 공개 저장소로부터 genomic sequence를 자동 수집하고, GC content normalization, N nucleotide correction, sequence-length filtering 등 전처리를 수행하며, histone modification·enhancer·promoter classification을 위한 task-specific dataset builder와 자동 영역 추출·chromosome-name harmonization·labeling을 제공한다.
• Model Loader: HyenaDNA, DNABERT-2, Caduceus, Nucleotide Transformer 같은 discriminative model과 EVO, GenomeOcean 같은 generative model을 통합 인터페이스로 로드하고 이들의 tokenizer를 지원한다.
• Model Trainer: full-parameter fine-tuning과 LoRA, adapter tuning 같은 parameter-efficient fine-tuning을 지원하며 classification과 regression task 모두에 적용 가능한 workflow configuration과 model adaptation을 제공한다.
• Inference Engine: 사전학습된 GFM으로부터 embedding extraction과 DNA sequence generation을 수행한다.
• Benchmarker: GUE와 Genomic Benchmarks 두 built-in benchmark를 제공하며, custom evaluation task와 dataset을 위한 plugin 인터페이스를 제공한다.
• Biological Interpreter: sparse auto-encoder를 통해 embedding을 sparse latent unit으로 분해(disentangle)하고, 이를 외부 biological readout에 대한 regression을 통해 motif presence, sequence feature 등 해석 가능한 genomic feature와 정렬한다.

Originality

• LLaMA-Factory 등 기존 language model fine-tuning framework와 달리, genomic 데이터의 FASTA 포맷, NCBI 연동, 도메인 특화 전처리, variant effect·enhancer activity·gene expression 예측 같은 biology 특화 task와 loss function을 지원하는 최초의 통합 라이브러리라는 점에서 독창적이다.
• 여러 이종 GFM(discriminative 및 generative)을 단일 인터페이스로 통합해 모델 간 직접 비교와 task별 최적 모델 선택을 지원한다는 점이 새롭다.
• sparse auto-encoder 기반의 open-source Biological Interpreter를 GFM 해석가능성 도구로 최초 통합했다는 점이 기존 language model 프레임워크와 차별화되는 핵심 기여이다.

Limitation & Further Study

• 발췌된 본문에서는 Biological Interpreter가 disentangle한 sparse latent unit과 실제 생물학적 기능 간 정렬(alignment)의 정량적 검증 방법과 정확도에 대한 상세 설명이 부족해 해석의 신뢰성 평가가 제한적으로 보인다.
• 지원되는 GFM과 benchmark(GUE, Genomic Benchmarks)가 현재 시점의 대표적 모델들로 한정되어 있어, 새로운 GFM이나 taxa(예: 비-DNA 서열, protein, RNA foundation model)로의 확장성에 대한 논의가 더 필요하다.
• 후속 연구로는 더 다양한 생물학적 task(예: 3D genome structure, multi-omics 통합)에 대한 벤치마크 확장과, Biological Interpreter의 해석 결과에 대한 생물학적 실험 검증(wet-lab validation) 연계가 필요해 보인다.

Evaluation

총평: GFM 연구·적용의 파편화된 워크플로우를 통합하는 실용적이고 시의적절한 오픈소스 라이브러리로, 생물학자와 엔지니어 간 간극을 줄이는 데 실질적 기여를 할 것으로 기대된다. 다만 해석가능성 모듈의 생물학적 타당성 검증과 지원 모델·벤치마크의 확장성에 대한 추가 근거가 보강되면 더욱 완성도가 높아질 것이다.