Galactica: A Large Language Model for Science

같이 보면 좋은 논문

기반 연구

Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior

Galactica는 과학 특화 빅페러다임 LLM으로, 829번 논문의 SciML 파운데이션모델 실험의 기반이 되는 사례입니다.

기반 연구

Developing ChemDFM as a large language foundation model for chemistry

Galactica(367)는 과학 전반 도메인 대규모 언어 모델의 기반을 제공하여 ChemDFM의 훈련 및 평가 철학에 기초가 된다.

기반 연구

Sciknoweval: Evaluating multi-level scientific knowledge of large language models

Galactica 논문은 과학적 LLM의 멀티모달 지식 저장과 평가 프레임워크를 제공하여 Sciknoweval의 문제의식에 이론적 기반을 제시한다.

기반 연구

MOOSE-Chem: Large Language Models for Rediscovering Unseen Chemistry Scientific Hypotheses

과학 논문을 학습한 대규모 언어모델 기반 과학 추론 방법의 이론적 기반 및 다양한 도메인 적용점을 이해하는 데 유용하다.

기반 연구

Scientific Large Language Models: A Survey on Biological & Chemical Domains

367 논문은 생명과학 분야 LLM 진화의 주요 트렌드와 문제점을 소개하며, 720 논문에서 논의하는 동향 조사에 이론적 배경이 되는 논문이다.

기반 연구

Embracing Foundation Models for Advancing Scientific Discovery

LLM을 활용한 과학적 아이디어 생성의 이론적·방법론적 기반을 제공한다.

기반 연구

Fine-tuning large language models for domain adaptation: exploration of training strategies, scaling, model merging and synergistic capabilities

340 논문은 LLM의 도메인 적응(특화 도메인 프리트레이닝) 기법을 체계적으로 소개해, 367에 등장하는 Galactica와 같은 특화 LLM 개발의 이론적 기반을 제공한다.

기반 연구

Towards Autonomous Mathematics Research

수학, 과학 등 전문 연구 영역에서 대규모 언어모델을 활용하는 기반 기술이 Galactica로부터 발전된 맥락을 이해할 수 있다.

기반 연구

Interpretable and generative deep learning models explicate phase separating intrinsically disordered motifs

367은 과학 분야의 대형 언어 및 생성 모델들의 응용 동향을 논의하여 3141 같은 생성 기반 신약 설계 논문의 토대를 제공합니다.

기반 연구

Generative Chemical Language Models for Energetic Materials Discovery

Galactica 논문은 과학 언어모델의 대규모 프리트레이닝 전략 및 크로스도메인 적용 한계를 다루고 있어, 에너지 물질로 도메인 확장 사례 연구에 필수적입니다.

기반 연구

Co-designing sequence and structure of functional de novo enzymes with EnzyGen2

과학 분야에서 대형 언어모델(Galactica 등)의 구조적 생물정보 응용과 분자 생성 능력에 대한 포괄적 사례를 제시한다.

기반 연구

Machine-Learning-Guided Discovery of CH4 Combustion Catalysts Operating in the Presence of SO2

367은 AI 기반 신약 및 재료 소재 발견의 총설로, 3159의 ML 기반 폐쇄루프 탐색 방식을 다양한 LLM/AI 기반 자동화와 연결해 비교할 수 있습니다.

기반 연구

Inverse Design of Inorganic Compounds with Generative AI

367의 갈락티카 모델 및 과학 LLM 논의는 3144가 다루는 데이터-표현-모델 파이프라인에서 LLM 응용의 이론적 기반이 됩니다.

다른 접근

Sciknoweval: Evaluating multi-level scientific knowledge of large language models

과학 연구를 위한 대규모 언어모델의 다른 설계 및 훈련 방법을 제시한다.

다른 접근

OpenReviewer: A specialized large language model for generating critical scientific paper reviews

과학 문헌 이해 및 처리를 위한 언어모델을 다루는 관련 연구이다.

다른 접근

Embracing Foundation Models for Advancing Scientific Discovery

과학적 도메인 특화 언어모델 개발을 다루는 유사한 연구이다.

다른 접근

LLM × MapReduce-V2: Entropy-Driven Convolutional Test-Time Scaling for Generating Long-Form Articles from Extremely Long Resources

Galactica 기반 과학 도메인용 LLM 대규모 설계와 비교해, MapReduce-V2 접목으로 장문 요약 적합성을 높이는 방법론을 구사합니다.

다른 접근

A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers

과학 지식 처리를 위한 LLM의 다른 접근법을 다루는 관련 연구이다.

후속 연구

SciBERT: A Pretrained Language Model for Scientific Text

707 논문은 과학 논문에 특화된 사전학습 모델로 Galactica의 목적(과학적 정보 저장·조합·추론)에 대한 실용적 확장 사례를 제공한다.

후속 연구

Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior

과학특화 LLM (Galactica)의 기법과 성능을, 다양한 SciML 파운데이션모델로 확장·검증하는 실증 연구입니다.

후속 연구

Scientific Large Language Models: A Survey on Biological & Chemical Domains

Scientific Large Language Models: A Survey on Biological & Chemical Sciences 논문은 Galactica 계열의 과학 LLM 모델에 대한 광범위한 사례와 영향력을 다룬다.

후속 연구

What are the best AI tools for research? Nature's guide

Galactica 등 과학 LLM을 특정 과학 분야에 적용하는 확장 연구이다.

후속 연구

Foundation models for materials discovery – current state and future directions

Galactica와 같은 과학 전용 대형모델 개발과 적용 동향을 추가로 정리하여 파운데이션 모델의 미래 방향성을 포괄적으로 제시한다.

응용 사례

From GPU Engineering to Scientific Discovery: Parallelism Techniques for Large Language Models

Galactica 논문은 병렬화 기법과 최적화 기법이 실제 과학 LLM에 어떻게 적용되는지 보여준다.

Galactica: A Large Language Model for Science

Essence

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

같이 보면 좋은 논문

Galactica: A Large Language Model for Science

Essence

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

같이 보면 좋은 논문

🎧 Audio Overview