/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/720_Scientific_Large_Language_Models_A_Survey_on_Biological__Che

Motivation

• Known: LLM(예: GPT-3, PaLM, LLaMA 등)은 자연어 처리에서 뛰어난 성능을 보이며, 분자를 위한 SMILES/SELFIES, 단백질을 위한 아미노산 서열, 유전체 서열 등 과학적 언어(scientific language)를 다루기 위한 다양한 도메인 특화 LLM들이 각자의 연구 영역에서 개별적으로 개발되어 왔다.
• Gap: 일반 LLM은 SMILES, 단백질 서열, 유전체 서열과 같은 scientific language의 독특한 어휘와 문법 구조를 제대로 처리하지 못하며, 생물학·화학 도메인의 Sci-LLM 발전을 통합적으로 조망하는 체계적이고 최신의 서베이가 부재하다는 연구 갭이 존재한다.
• Why: Sci-LLM은 신약 설계, 단백질 구조/기능 예측, retrosynthesis 경로 제안, 유전체 서열 이해 등 AI-for-Science의 핵심 응용을 가능케 하는 급성장 분야이며, 이를 통합적으로 정리하는 것은 연구자들이 흩어진 도메인별 연구를 체계적으로 이해하고 후속 연구를 설계하는 데 필수적인 자원이 된다.
• Approach: 이 논문은 scientific language 개념을 체계적으로 정의하고, 텍스트, 소분자, 거대분자(단백질), 유전체 서열 및 이들의 조합(multi-modal)에 걸쳐 Sci-LLM을 모델 아키텍처(encoder-only, decoder-only, encoder-decoder), 능력, 데이터셋, 평가 기준의 네 축으로 분석하는 서베이 방법론을 채택한다.

Achievement

Research scopes of Scientific Large Language Models (Sci-LLMs) in this survey. We focus on scientific languages (i.e., textual,

1. Scientific language의 체계적 정의: 자연어와 구별되는 화학·생물학적 언어(SMILES, SELFIES, 단백질/유전체 서열)의 어휘와 문법적 특성을 명확히 개념화했다.
2. 도메인 통합 리뷰: 기존에 분자, 단백질, 유전체 각각을 개별적으로 다루던 서베이들과 달리 이들을 통합적 관점에서 검토하고, textual LLM과 multi-modal LLM까지 포괄했다.
3. 아키텍처·데이터·평가 체계화: 각 도메인별 모델을 encoder-only/decoder-only/encoder-decoder로 분류하고, 대표적인 학습 코퍼스와 평가 벤치마크를 정리했다.
4. 도전 과제 및 향후 방향 제시: 현재 Sci-LLM 연구가 직면한 한계를 비판적으로 검토하고 유망한 연구 방향을 제안했다.

How

This encompasses textual expressions in the scientific research domains,

• 90페이지 분량으로 Introduction, Background(Formulation of Scientific Languages, Taxonomy of Model Architectures, Pre-training/Fine-tuning), 그리고 Textual/Molecular/Protein/Genomic/Multi-modal Sci-LLM의 5개 챕터로 구성
• 각 챕터마다 Models, Datasets, Evaluation, Summary의 동일한 서브 구조를 반복 적용해 일관성 있게 비교
• Transformer 기반 언어 모델로 범위를 한정하고, graph neural network나 diffusion model 등 대안 아키텍처는 제외
• 텍스트 도메인에서는 화학·생물학 지식을 다루는 자연어 LLM에 초점을 맞춤
• Wittgenstein의 언어철학적 관점을 인용하여 scientific language의 중요성을 프레이밍

Originality

• 기존 서베이들이 자연어 LLM(예: [379, 416])이나 단일 도메인(분자[80,362], 단백질[24,132,322,327], 유전체[65])에 국한되었던 것과 달리, 화학·생물학 전반을 아우르는 통합적 관점을 제시
• 텍스트, 분자, 단백질, 유전체 언어를 결합하는 multi-modal Sci-LLM까지 탐구 범위를 확장한 최초의 시도로 저자들이 주장
• scientific language를 자연어와 대비되는 독자적 어휘·문법 체계로 정의하는 개념적 프레임을 제공

Limitation & Further Study

• 수학적 언어(mathematical language)는 보편적 어휘·문법 구조가 부족하다는 이유로 논의 범위에서 제외되어 과학 언어의 전체 스펙트럼을 다루지 못함
• Transformer 기반 아키텍처에만 집중하여 분자·단백질 모델링에서 널리 쓰이는 graph neural network, diffusion model 등은 다루지 않아 최신 비-Transformer 접근법과의 비교가 부족
• 서베이 특성상 실증적 실험이나 벤치마크 재현이 없어 각 모델 간 성능 비교의 엄밀성이 제한적일 수 있음
• 후속 연구로는 scientific language와 자연어 간 통합 표현 학습, 비-Transformer 아키텍처와의 통합적 비교 분석 등이 필요할 것으로 보임

Evaluation

총평: 생물학·화학 도메인의 Sci-LLM 연구를 체계적이고 포괄적으로 정리한 최초의 통합 서베이로서 해당 분야 연구자들에게 유용한 참고 자료가 될 것이나, 서베이 특성상 독창적 기술 기여보다는 정리·종합의 가치에 무게가 실린다.