LLM-Feynman: Leveraging Large Language Models for Universal Scientific Formula and Theory Discovery
저자: Zhilong Song, Qionghua Zhou, Chunjin Ren, Chongyi Ling, Minggang Ju | 날짜: 2025 | DOI: N/A📄 PDF
⚠️ 이 페이지의 요약·평가·해설은 생성형 AI(Claude)가 자동 생성한 2차적 분석물입니다. 논문 원문의 저작권은 원저작자에게 있으며, 정확한 내용은 원문(위 DOI·arXiv 등 출처)을 확인하세요.
Essence
Figure 1. Flowchart of the LLM-Feynman framework. (I) The input consists of data, meaning,
LLM-Feynman은 대규모 언어 모델(LLM)을 기호 회귀와 결합하여 과학적 공식을 자동으로 발견하는 프레임워크이다. 이 방법은 자동화된 특성 엔지니어링, LLM 기반의 자체 평가, 그리고 Monte Carlo tree search를 통해 해석 가능하고 일반화 가능한 과학 공식을 발견한다.
Motivation
Known: 종래의 기호 회귀(symbolic regression)는 정확도와 해석 가능성의 균형을 맞추기 어렵고, 복잡하고 일반화되지 않는 공식을 생성할 수 있다. LLM의 과학 지식을 활용하는 시도가 있었으나, 도메인 지식의 효과적인 통합이 부족했다.
Gap: 기존 방법들은 LLM의 광범위한 과학 지식을 체계적으로 활용하지 못하고, 자체 평가와 다목적 최적화를 통한 공식 개선이 부족하며, 생성된 공식의 물리적 의미를 체계적으로 해석하는 메커니즘이 없다.
Why: 과학적 발견은 단순한 데이터 맞춤을 넘어 해석 가능하고 일반화 가능한 공식을 필요로 한다. 도메인 지식과 데이터 기반 기법의 통합은 정확성, 단순성, 해석 가능성의 균형을 맞추는 데 중요하다.
Approach: 세 가지 순차적 모듈로 구성: (I) 자동 데이터 전처리 및 특성 엔지니어링 (상호 정보 기반 선택, LLM 기반 특성 매칭, 반복적 특성 개선), (II) 자체 평가와 다목적 최적화를 포함한 기호 회귀 (손실 함수 L = αN(E) + βN(C) + γS를 이용한 Pareto frontier 분석), (III) LLM 기반 MCTS를 통한 공식 해석.
Achievement
Figure 2. Performance of the LLM-Feynman framework. Comparison of (a) 1−R2 vs.
Feynman 물리 공식 재발견: 90% 이상의 Feynman 강의 공식을 성공적으로 재발견
2D 소재 합성 가능성: 2D 소재 분류 작업에서 우수한 성능 달성
페로브스카이트 합성 가능성: 페로브스카이트 합성 가능성 예측에서 효과 입증
Green's 함수 및 screened Coulomb interaction 밴드갭: 2D 소재에 대한 GW 밴드갭 계산 성능 개선
리튬 고상 전해질 이온 전도도: 재료 과학의 실제 회귀 작업에서 정확도 향상
기존 방법 초월: SISSO, PySR 등 종래 기호 회귀 방법보다 정확도 향상 동시에 복잡도 유지
How
Figure 1. Flowchart of the LLM-Feynman framework. (I) The input consists of data, meaning,
구조화된 프롬프트를 통해 LLM이 초기 공식 N개 생성 (정확도, MAE, R2로 정량 평가)
LLM의 자체 평가를 이용하여 해석 가능성 점수 S (0~1) 할당
손실 함수로 상위 30개 공식 선택 후 반복적으로 J개 신규 공식 생성 (기본값 10개, 500 반복)
모든 공식에 대해 정확도-단순성 Pareto frontier 분석으로 최적 공식 선택
MCTS를 통해 생성된 공식의 물리적/화학적 의미를 체계적으로 해석
도메인 지식(특성과 타깃의 물리적 의미 및 차원)을 구조화된 프롬프트로 통합
Originality
LLM과 기호 회귀의 새로운 결합: LLM의 광범위한 과학 지식을 체계적으로 활용하면서 도메인 지식을 프롬프트를 통해 명시적으로 통합
자체 평가 메커니즘: LLM의 과학 지식을 이용하여 생성 공식의 해석 가능성을 정량화하는 혁신적 접근
다목적 최적화의 명시적 공식화: 정확도, 복잡도, 해석 가능성을 균형있게 최적화하는 손실 함수 설계
MCTS 기반 해석: 생성된 공식의 물리적 의미를 자동으로 도출하는 체계적 프레임워크
Limitation & Further Study
LLM 특화성: ChatGPT, LLaMA, DeepSeek 등 특정 LLM에 의존하므로 다양한 모델에서의 일반화 가능성 미검증
도메인 지식 의존성: 초기 특성의 물리적 의미와 차원 정보가 입력으로 필요하여, 완전히 미지의 도메인에서의 자동 적용 한계
계산 비용: 500 반복의 LLM 호출 및 MCTS 기반 해석으로 인한 높은 계산 비용 미분석
공식의 외삽성: 훈련 데이터 범위 외에서의 공식 일반화 능력에 대한 체계적 평가 부족
복잡도 측정 정의: 공식 복잡도(C)의 정확한 정의 및 정규화 방식이 명시되지 않음
후속 연구: 계산 효율성 개선, 다양한 LLM 모델 비교, 외삽성 평가, 더 광범위한 도메인 응용 확대
총평: LLM-Feynman은 도메인 지식과 대규모 언어 모델을 기호 회귀와 창의적으로 결합하여 해석 가능하고 일반화 가능한 과학 공식 발견의 새로운 패러다임을 제시한다. Feynman 공식의 90% 이상 재발견과 다양한 재료 과학 응용에서의 성과는 방법의 실효성을 입증한다. 다만 LLM 특화성, 도메인 지식 사전 요구, 계산 비용 등에 대한 심화 분석이 필요하다.
후속 연구SPECTER2 유사도 0.93로 LLM Reasoning and Safety Benchmarks와 Formal Methods and Computational Reasoning가 맞닿아, 'LLM-Feynman: Leveraging Large Language Models for Universal Scientific Formula and Theory Discovery'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
다른 접근LLM을 활용한 과학 공식/방정식 발견이라는 동일한 문제를 다루는 대안적 접근법으로 보인다.
후속 연구SPECTER2 유사도 0.93로 Formal Proof Verification Automation와 Formal Methods and Computational Reasoning가 맞닿아, 'LLM-Feynman: Leveraging Large Language Models for Universal Scientific Formula and Theory Discovery'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.91로 LLM Reasoning and Safety Benchmarks와 Formal Methods and Computational Reasoning가 맞닿아, 'LLM-Feynman: Leveraging Large Language Models for Universal Scientific Formula and Theory Discovery'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.92로 LLM Agent Reasoning Training와 Formal Methods and Computational Reasoning가 맞닿아, 'LLM-Feynman: Leveraging Large Language Models for Universal Scientific Formula and Theory Discovery'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
