LLMs Can Learn the Language of the Microbiome

Motivation

• Known: 유전체학(genomics), 단백질체학(proteomics), 전유전체 모델링(whole-genome modelling) 분야에서 self-supervised LLM 사전학습이 성공적으로 적용되어 왔으며, 최근 taxonomic profile을 시퀀스로 취급해 마이크로바이옴에 language model을 적용하려는 초기 연구들(MGM 등)이 등장하고 있다.
• Gap: 마이크로바이옴 데이터는 amplicon, whole-metagenome, assembly 등 이질적인 DNA sequencing modality와 희소한 labelled data라는 특성을 가지지만, 이러한 modality들을 통합하는 방법, 모델의 scaling behaviour, 그리고 표준화된 평가체계에 대한 연구가 부족하다.
• Why: 마이크로바이옴은 건강, 질병, 환경 생물학에서 핵심적 역할을 하는 복잡한 생태계이지만 이질적 sequencing modality와 부족한 labelled data 때문에 통합 모델링이 어려웠으며, 이를 극복하는 pretrained LLM 접근이 실용적 대안이 될 수 있음을 보인 것이 중요하다.
• Approach: MGnify에서 수집한 4개 sequencing modality를 아우르는 539,000개 이상의 샘플로 구성된 대규모 사전학습 코퍼스 Atlas를 구축하고, genus 수준 tokenisation(상위 분류 fallback 포함)을 적용해 6M~170M 파라미터 규모의 GPT-2 스타일 causal language model인 Waypoint를 사전학습한 뒤, 8개 다운스트림 작업으로 구성된 벤치마크 Compass로 평가하였다.

Achievement

Figure 2. Overall benchmark scores for all models, taken as the

1. Atlas 데이터셋 구축: MGnify로부터 4,100개 이상의 연구를 아우르는 539,308개의 마이크로바이옴 데이터포인트를 수집·정제하여 amplicon, whole-genome shotgun metagenomic, metagenomic assembly, metatranscriptomic 등 4가지 sequencing modality를 포괄하는 최대 규모의 공개 사전학습 코퍼스를 구성하였다.
2. Waypoint 모델 패밀리 사전학습: 6M부터 170M 파라미터에 이르는 9개의 GPT-2 스타일 causal language model을 동일한 tokeniser, context length(512), 사전학습 절차 하에 학습시켜 모델 용량에 따른 순수한 성능 차이를 분석하였다.
3. Scaling 효과 입증: pretraining evaluation loss가 모델 크기에 따라 단조적으로 감소하며, 로그 스케일의 모델 크기에 대해 최소 평가 손실이 선형적으로 감소함을 확인하였다.
4. Compass 벤치마크 제안: biome 분류, 약물-마이크로바이옴 상호작용, 약물 분해, 유아 장내 발달 등 4개 독립 데이터셋에서 파생된 8개 다운스트림 예측 작업으로 구성된 표준화된 평가체계를 구축하였다.
5. 성능 우위 입증: 사전학습된 Waypoint 모델이 classical baseline(logistic/ridge regression, random forest), non-pretrained transformer, 기존 foundation model인 MGM을 모든 벤치마크에서 일관되게 능가하였으며, 동일 아키텍처(6M-MGM)에서도 더 큰 데이터셋과 fallback tokenisation 전략이 성능 향상에 기여함을 확인하였다.

How

Figure 1. Top: pretraining evaluation loss curves for models with

• MGnify 데이터베이스의 모든 파이프라인 버전(v1.0-v5.0)에서 4가지 sequencing modality의 taxonomic abundance 데이터를 스크래핑
• 상대 abundance 0.0001 미만 taxa 제거, 10개 미만 taxa 보유 샘플 제거의 quality filtering 절차 적용 (Zhang et al., 2026 절차 준용)
• genus 수준에서 미생물 시퀀스를 tokenise하되, genus 수준 분류가 불가능한 경우 더 상위 분류 등급으로 fallback하는 전략 적용
• autoregressive next token prediction objective로 6M~170M 파라미터의 9개 모델(6M-MGM, 85M-gpt2-small 포함) 사전학습, early stopping(patience 10) 적용
• Compass의 8개 다운스트림 task에서 logistic regression, ridge regression, random forest 등 classical baseline과 MGM, non-pretrained transformer 대비 성능 비교
• vocabulary mismatch 영향을 통제하기 위해 baseline 모델에 대해 사전학습 vocabulary에 없는 taxa를 제거한 "no unk" 변형도 함께 평가
• macro-averaged F1(분류 작업) 및 R²(회귀 작업)로 성능 측정, task별/모델별 세부 breakdown 분석 수행

Originality

• 마이크로바이옴 도메인에 특화된 최대 규모의 다중 sequencing modality 사전학습 데이터셋(Atlas)을 최초로 공개 수준으로 구축
• genus 수준 fallback tokenisation을 통해 서로 다른 taxonomic resolution을 가진 이질적 modality를 일관되게 표현하는 전략 제안
• 표준화된 8개 task로 구성된 마이크로바이옴 예측 벤치마크(Compass)를 제안하여 후속 연구의 공정한 비교를 가능케 함
• 기존 MGM과 동일 아키텍처(6M-MGM)로 직접 비교함으로써 데이터셋 규모와 tokenisation 전략 자체의 기여도를 분리하여 입증

Limitation & Further Study

• 현재 Compass 벤치마크는 주로 장내(gut) 마이크로바이옴 문제에 집중되어 있어 다른 환경 마이크로바이옴에 대한 일반화 검증이 제한적임
• 일부 task(Task 4, 7)에서는 vocabulary-filtered classical baseline이 모든 LLM을 능가하여, 소규모 task별 데이터셋에서는 LLM의 이점이 항상 보장되지 않음이 확인됨
• 비교 대상으로 삼고자 했던 다른 마이크로바이옴 foundation model(Pope et al., 2025; Medearis et al., 2026)이 공개되지 않아 비교가 제한적으로 이루어짐
• downstream 데이터셋마다 저자별로 상이한 시퀀싱 데이터 처리 방식으로 인해 pretraining vocabulary와의 커버리지 편차가 커서 평가의 공정성에 잠재적 영향이 있을 수 있음
• 후속 연구로 더 다양한 환경 마이크로바이옴 task로의 벤치마크 확장과, 더 큰 규모 및 추가 학습을 통한 소형 모델의 잠재적 성능 향상 탐구가 필요함

Evaluation

총평: 마이크로바이옴 데이터에 대한 대규모 사전학습 데이터셋과 표준 벤치마크를 동시에 제공하며 LLM 기반 접근의 실효성을 체계적으로 입증한 실용적이고 인프라적 기여가 큰 연구이다. 다만 벤치마크가 주로 장내 마이크로바이옴에 편중되어 있고 일부 소규모 task에서는 고전적 방법 대비 우위가 명확하지 않다는 한계가 있다.