Canopy: A Heterograph Foundation Model for Metabolic Engineering

Motivation

• Known: 기존 연구는 stoichiometric constraint-based model(GEM, FBA)로 대사 흐름을 예측하거나, hand-crafted feature 기반 tabular machine learning(random forest, gradient boosting 등)으로 titer를 예측해왔으며, protein·molecule·single-cell 등 각 생물학적 스케일별 foundation model과 PrimeKG 같은 biomedical KG가 존재한다.
• Gap: GEM 기반 방법은 실험 데이터를 학습에 반영하지 못하고 조절·발현·환경 효과 및 organism 간 transfer를 무시하며, tabular ML은 유전자-단백질-반응-경로-표현형을 잇는 관계 구조를 버린다. 또한 기존 graph neural network 연구는 단일 organism 반응 그래프에 국한되어 있고, metabolic engineering 도메인 전용의 cross-organism multi-modal KG나 foundation model은 부재하다.
• Why: DBTL(design-build-test-learn) cycle이 수 주~수개월 걸리는 상황에서 wet-lab 실험 전에 유전적 개입을 우선순위화할 수 있는 계산 도구는 균주 설계 속도를 크게 단축시킬 수 있으며, 이는 bioeconomy 전반(연료, 의약품, 특수화학물질 생산)에 직접적 영향을 준다.
• Approach: MetaNetX, GO, UniRef, InterPro, KEGG, 자체 LIMS 등 10개 데이터 소스를 BioCypher로 통합해 13종 노드·34종 엣지의 6.9M 노드 규모 heterogeneous KG를 구축하고, 각 노드 modality에 특화된 foundation model 인코더와 SignNet positional encoding, Jumping Knowledge, virtual node를 결합한 HGT를 4가지 self-supervised objective로 pretraining한다.

Achievement

Figure 5. Pretraining objective. Four parallel heads consume the encoder output {zv}v∈V : link prediction (BCE), per-

1. 대규모 metabolic engineering KG 구축: 10개 공개/자체 데이터 소스를 BioCypher로 통합하여 13개 노드 타입, 34개 엣지 타입, 6.9M 노드 규모의 unified heterogeneous KG를 최초로 구축함.
2. multi-modal feature encoding 체계: 스키마 기반 dispatch 시스템으로 protein sequence는 ESM-2(650M), SMILES는 MoLFormer-XL, 자유 텍스트는 PubMedBERT로 라우팅하여 단일 그래프 내 통합 표현을 생성함.
3. augmented HGT 아키텍처 설계: HGTConv에 SignNet positional encoding, random walk structural encoding, per-type FFN(learnable residual scaling), Jumping Knowledge, virtual node를 결합함.
4. 4중 self-supervised pretraining: link prediction, masked node modelling, distance prediction, contrastive experiment-pair loss를 learned homoscedastic uncertainty weighting으로 균형있게 결합함.
5. downstream 성능 검증: frozen Canopy embedding으로 fermentation titer 예측에서 R2=0.41을 달성하여 tabular baseline(R2=0.24) 및 homogeneous GNN variant를 능가함.

How

Figure 3. One HGT layer. The dst-side query Qτ(t) is type-specific; keys Kτ(s) and values Vτ(s) are projected per source

• BioCypher 기반 10개 adapter module로 MetaNetX, KEGG, UniRef90/UniProt, InterPro, GO, NCBI Taxonomy, 자체 LIMS(DBTL 기록), 문헌 마이닝 실험, transcriptomics 데이터를 통합
• sys_/feat_/text_/seq_/smi_ prefix로 property를 구분하는 스키마 기반 dispatch로 노드 feature를 각 도메인 특화 인코더(ESM-2, MoLFormer-XL, PubMedBERT, 정규화된 scalar)에 라우팅
• HGTConv 위에 SignNet positional encoding, random walk structural encoding, per-type FFN(learnable residual scaling), Jumping Knowledge aggregation, virtual node를 추가한 augmented HGT 설계
• link prediction, masked node modelling, distance prediction, contrastive experiment clustering의 4개 objective를 learned homoscedastic uncertainty weighting으로 결합해 self-supervised pretraining 수행
• 4,791개 fermentation 실험에 대해 MD5-hash 기반 deterministic 5-fold CV split을 적용하여 frozen embedding + lightweight probe로 titer 예측 downstream 평가 수행

Originality

• 단일 organism 반응 그래프나 2-organism 정렬(IKT4Meta)에 그쳤던 기존 연구를 13개 노드 타입의 cross-organism, multi-modal KG로 확장함
• protein·chemical·text 등 서로 다른 스케일의 domain-specific foundation model을 하나의 heterogeneous graph 내 feature encoder로 결합하는 아키텍처 제시
• metabolic engineering 도메인에 특화된 최초의 대규모 knowledge graph 및 foundation model 자원 제공(PrimeKG류가 질병 도메인에 국한되었던 것과 대조)
• 4개의 이질적 self-supervised objective를 uncertainty weighting으로 균형화하는 pretraining 전략을 heterograph 도메인에 적용

Limitation & Further Study

• 발췌된 본문에서는 R2=0.41이 여전히 절대적으로 낮은 수준이며, 실제 상용화 가능한 titer 예측 정확도에 도달했는지에 대한 심층 분석이 부족해 보임
• 4,791개 fermentation 실험이라는 제한된 downstream 데이터셋 규모로 인해 generalization 검증이 제한적일 수 있음
• 자체 LIMS(proprietary) 데이터 의존도가 높아 재현성 및 외부 검증 가능성에 한계가 있을 수 있음
• ablation을 통한 각 pretraining objective 및 아키텍처 구성요소(SignNet, JK, virtual node 등)의 개별 기여도 분석이 본문 발췌에서 명확히 제시되지 않음
• 후속 연구로 생성 모델(diffusion/flow-matching 기반 균주 설계)과의 결합, 더 많은 organism 및 실험 데이터로의 확장, in-context 또는 few-shot 방식의 전이 성능 검증이 필요함

Evaluation

총평: metabolic engineering이라는 상대적으로 소외된 도메인에 대규모 heterogeneous KG와 foundation model을 최초로 결합해 제시한 실용적이고 의미있는 연구로, downstream titer 예측에서 명확한 성능 개선을 보여주었으나 절대적 예측 성능과 일반화 가능성에 대한 추가 검증이 필요하다.