LLM-Feynman: Leveraging Large Language Models for Universal Scientific Formula and Theory Discovery

Motivation

• Known: 종래의 기호 회귀(symbolic regression)는 정확도와 해석 가능성의 균형을 맞추기 어렵고, 복잡하고 일반화되지 않는 공식을 생성할 수 있다. LLM의 과학 지식을 활용하는 시도가 있었으나, 도메인 지식의 효과적인 통합이 부족했다.
• Gap: 기존 방법들은 LLM의 광범위한 과학 지식을 체계적으로 활용하지 못하고, 자체 평가와 다목적 최적화를 통한 공식 개선이 부족하며, 생성된 공식의 물리적 의미를 체계적으로 해석하는 메커니즘이 없다.
• Why: 과학적 발견은 단순한 데이터 맞춤을 넘어 해석 가능하고 일반화 가능한 공식을 필요로 한다. 도메인 지식과 데이터 기반 기법의 통합은 정확성, 단순성, 해석 가능성의 균형을 맞추는 데 중요하다.
• Approach: 세 가지 순차적 모듈로 구성: (I) 자동 데이터 전처리 및 특성 엔지니어링 (상호 정보 기반 선택, LLM 기반 특성 매칭, 반복적 특성 개선), (II) 자체 평가와 다목적 최적화를 포함한 기호 회귀 (손실 함수 L = αN(E) + βN(C) + γS를 이용한 Pareto frontier 분석), (III) LLM 기반 MCTS를 통한 공식 해석.

Achievement

Figure 2. Performance of the LLM-Feynman framework. Comparison of (a) 1−R2 vs.

• Feynman 물리 공식 재발견: 90% 이상의 Feynman 강의 공식을 성공적으로 재발견
• 2D 소재 합성 가능성: 2D 소재 분류 작업에서 우수한 성능 달성
• 페로브스카이트 합성 가능성: 페로브스카이트 합성 가능성 예측에서 효과 입증
• Green's 함수 및 screened Coulomb interaction 밴드갭: 2D 소재에 대한 GW 밴드갭 계산 성능 개선
• 리튬 고상 전해질 이온 전도도: 재료 과학의 실제 회귀 작업에서 정확도 향상
• 기존 방법 초월: SISSO, PySR 등 종래 기호 회귀 방법보다 정확도 향상 동시에 복잡도 유지

How

Figure 1. Flowchart of the LLM-Feynman framework. (I) The input consists of data, meaning,

• 구조화된 프롬프트를 통해 LLM이 초기 공식 N개 생성 (정확도, MAE, R2로 정량 평가)
• LLM의 자체 평가를 이용하여 해석 가능성 점수 S (0~1) 할당
• 손실 함수로 상위 30개 공식 선택 후 반복적으로 J개 신규 공식 생성 (기본값 10개, 500 반복)
• 모든 공식에 대해 정확도-단순성 Pareto frontier 분석으로 최적 공식 선택
• MCTS를 통해 생성된 공식의 물리적/화학적 의미를 체계적으로 해석
• 도메인 지식(특성과 타깃의 물리적 의미 및 차원)을 구조화된 프롬프트로 통합

Originality

• LLM과 기호 회귀의 새로운 결합: LLM의 광범위한 과학 지식을 체계적으로 활용하면서 도메인 지식을 프롬프트를 통해 명시적으로 통합
• 자체 평가 메커니즘: LLM의 과학 지식을 이용하여 생성 공식의 해석 가능성을 정량화하는 혁신적 접근
• 다목적 최적화의 명시적 공식화: 정확도, 복잡도, 해석 가능성을 균형있게 최적화하는 손실 함수 설계
• MCTS 기반 해석: 생성된 공식의 물리적 의미를 자동으로 도출하는 체계적 프레임워크

Limitation & Further Study

• LLM 특화성: ChatGPT, LLaMA, DeepSeek 등 특정 LLM에 의존하므로 다양한 모델에서의 일반화 가능성 미검증
• 도메인 지식 의존성: 초기 특성의 물리적 의미와 차원 정보가 입력으로 필요하여, 완전히 미지의 도메인에서의 자동 적용 한계
• 계산 비용: 500 반복의 LLM 호출 및 MCTS 기반 해석으로 인한 높은 계산 비용 미분석
• 공식의 외삽성: 훈련 데이터 범위 외에서의 공식 일반화 능력에 대한 체계적 평가 부족
• 복잡도 측정 정의: 공식 복잡도(C)의 정확한 정의 및 정규화 방식이 명시되지 않음

후속 연구: 계산 효율성 개선, 다양한 LLM 모델 비교, 외삽성 평가, 더 광범위한 도메인 응용 확대

Evaluation

총평: LLM-Feynman은 도메인 지식과 대규모 언어 모델을 기호 회귀와 창의적으로 결합하여 해석 가능하고 일반화 가능한 과학 공식 발견의 새로운 패러다임을 제시한다. Feynman 공식의 90% 이상 재발견과 다양한 재료 과학 응용에서의 성과는 방법의 실효성을 입증한다. 다만 LLM 특화성, 도메인 지식 사전 요구, 계산 비용 등에 대한 심화 분석이 필요하다.