Foundation models in bioinformatics

Motivation

• Known: 기존 AI 시스템은 명시적 인간 공학(explicit human engineering)과 사전정의된 규칙에 의존했으며, 생물학적 실험은 비용이 크고 노동집약적인 특성이 있음. 개별 생물정보학 작업별로 특화된 모델들이 산재되어 있음.
• Gap: 기존의 여러 리뷰는 대규모 모델의 한 가지 범주(예: LLM) 또는 전통적 모델만 다루고, 다양한 유형의 기초 모델들을 체계적으로 비교하지 못함. 생물정보학 전문가들이 각자의 문제에 적합한 FM을 선택하는 데 어려움이 있음.
• Why: 대규모 사전학습 모델(PTM)의 출현으로 AI 패러다임이 근본적으로 변화했고, 단일 모델이 여러 다운스트림 작업에 적용될 수 있게 됨. 게놈, 단백질, 약물, 단일 세포 등 서로 다른 생물학적 데이터 양식에 특화된 FM들이 급속도로 개발되고 있음.
• Approach: 4가지 FM 유형(언어, 시각, 그래프, 다중모달) × 5가지 생물정보학 응용분야(게놈학, 전사체학, 단백질학, 약물 발견, 단일 세포)의 매트릭스 구조로 체계적으로 검토. 각 모델의 훈련 전략, 하이퍼파라미터, 생물학적 응용, 해석 가능성을 분석.

Achievement

그림 2: 생물정보학의 기초 모델 진화. 2020년부터 2024년까지 게놈학, 전사체학, 단백질학, 약물 발견, 단일 세포 분석 분야에서 개발된 주요 모델들의 시간적 진화 궤적.

1. 구조화된 분류체계: 언어 FM(DNABERT, RNABERT, ProteinBERT, ChemBERTa 등), 시각 FM(Enformer, AlphaFold 등), 그래프 FM(GNN 기반 분자 표현 학습), 다중모달 FM(멀티 오믹스 통합) 등 4가지 유형별 20개 이상의 주요 모델을 체계적으로 분류
2. 응용 영역 확대: 단순한 서열 분류에서 출발하여 (1세대), 광범위한 전이 학습이 가능한 사전학습 모델로 진화(2세대), 멀티태스크 학습으로 확장(3세대), 최근 다중모달 통합 분석으로 발전(4세대) - 단백질 구조 예측(AlphaFold → AlphaFold3)의 사례로 입증
3. 생물학적 문제 해결의 다양화: 바이오마커 발견, 효소 설계, 항체-항원 인식, 약물 발견, 오믹스 분석, 질병 진단 등 폭넓은 생물학적 도전에 대한 FM 적용 성공 사례 제시

How

• 언어 FM 응용: DNA/RNA/단백질/화합물을 텍스트 형식(SMILES, k-mer 표현)으로 변환하여 Transformer 기반 모델(BERT, GPT) 적용. 마스킹된 언어 모델(MLM) 또는 인과 언어 모델링(CLM)으로 대규모 미표지 서열 데이터 사전학습
• 시각 FM 응용: 게놈 조절 영역, 단백질 구조, 세포 이미지에 CNN(AlexNet, ResNet) 또는 Vision Transformer 기반 모델 적용. 다운스트림 작업에 특화된 미세조정(fine-tuning)
• 그래프 FM 응용: 분자 구조, 단백질 상호작용 네트워크, 생물 네트워크를 그래프로 표현. GNN, MPNN, Graphormer 등을 통해 노드 간 메시지 전달로 구조적 특성 학습
• 다중모달 FM 응용: 서열, 구조, 상호작용, 임상 정보 등 이질적 데이터를 통합. CLIP 유형의 아키텍처로 여러 생물학적 양식 간 대응 관계 학습
• 생성 작업: VAE, GAN, Diffusion 모델을 활용하여 단백질/약물/RNA 서열 생성. GPT 기반 자동회귀(autoregressive) 모델로 신규 분자 설계

Originality

• 포괄성: 기존 리뷰들이 LLM 또는 특정 모델류만 다룬 반면, 본 논문은 4가지 FM 유형을 동등하게 취급하면서도 비교 가능한 프레임워크 제시
• 체계적 분류: 단순한 모델 나열이 아닌, 생물학적 데이터 양식(서열, 구조, 그래프, 멀티모달)과 작업 유형(예측/생성)의 이원 매트릭스로 구조화
• 진화 관점: 초기 작업 특화 모델 → 사전학습 기반 모델 → 멀티태스크/전이학습 → 다중모달 통합까지 4단계 진화 과정을 실증적으로 추적. AlphaFold의 3개 반복(v1, v2, v3)을 사례로 제시
• 실무 지향성: 모델 선택의 의사결정 트리 제공(어떤 생물학적 문제에 어떤 유형의 FM을 사용할 것인가)

Limitation & Further Study

• 해석 가능성 부족: 대규모 FM의 블랙박스 특성에 대한 구체적 해결책 미제시. 생물학적 통찰력(예: 활성화된 유전자 부위)을 추출하는 방법론 개발 필요
• 모델 환각(hallucination): 생성 모델이 생물학적으로 불가능한 서열이나 분자를 생성할 가능성에 대한 예방 전략 부족
• 벤치마크 표준화: 서로 다른 FM들을 공정하게 비교할 통일된 벤치마크 데이터셋 및 평가 지표 부재
• 계산 효율성: 매개변수 크기, 훈련 비용, 추론 시간에 대한 상세한 비교 분석 필요
• 생물적 검증: FM의 예측 결과에 대한 습지(wet-lab) 실험 검증 및 피드백 루프 구축 필요
• 향후 방향:
  • 생물 도메인 지식을 FM 아키텍처에 명시적으로 통합하는 방법
  • 소규모 표지 데이터로도 높은 성능을 내는 효율적 미세조정 기법 개발
  • 임상 데이터와 오믹스 데이터 간 진정한 다중모달 통합 모델

Evaluation

총평: 본 논문은 급속히 발전하는 생물정보학 기초 모델 분야를 종합적으로 정리한 중요한 리뷰로, 4가지 FM 유형과 5가지 응용분야의 이원 분류체계를 통해 실무자의 모델 선택을 돕는 실질적 가치가 있다. 다만 해석 가능성, 환각 문제, 벤치마크 표준화 같은 개방된 과제들에 대한 구체적 해결 방안이 추가되면 논문의 완성도가 더욱 높아질 것으로 예상된다.