A Multi-agent Framework for Physical Laws Discovery

Motivation

• Known: AI와 머신러닝이 과학 연구를 가속화하고 있으며, 최근 대규모 언어모델이 가설 생성, 문헌 종합, 실험 계획 등 과학 워크플로우의 핵심 요소에 활용되고 있다. Symbolic regression은 실험 및 시뮬레이션 데이터로부터 해석 가능한 방정식을 추론하는 중요한 방법이며, LLM이 이를 지원하기 위해 최근 적용되고 있다.
• Gap: 기존의 깊은 신경망 모델들은 높은 예측 정확도를 제공하지만 "블랙박스"로 작동하여 물리적 이해와 일반화 가능한 원리 도출을 어렵게 한다. 또한 현재의 LLM은 환각 현상과 검증되지 않은 주장을 생성할 수 있어 신뢰할 수 있는 과학적 사용에 장애가 된다. 다중 에이전트 프레임워크를 통한 반복적 검증 메커니즘이 필요하다.
• Why: 물리 법칙의 발견은 과학 진보의 핵심이며, 명시적인 수학 방정식으로 표현된 컴팩트한 법칙은 메커니즘 이해, 외삽, 새로운 개념적 틀 형성을 가능하게 한다. 자동화된 물리 법칙 발견 시스템은 과학적 생산성을 크게 향상시킬 수 있으며, 재료 과학 등 다양한 분야에 광범위한 영향을 미칠 수 있다.
• Approach: 문헌 검색 및 데이터 준비 → 작업별 프롬프트 구성 및 few-shot 예시 추가 → Retrieval-Augmented Generation (RAG)를 통한 외부 지식 기반 통합 → 빔 서치(beam search)와 LLM 기반 reflection 메커니즘을 결합한 symbolic regression 수행 → 예측 오차와 기호 복잡도를 균형맞춘 복합 점수로 공식 평가 → 발견된 법칙의 과학적 해석 및 다운스트림 작업에 배포.

Achievement

FIG. 1. Schematic of the proposed multi-agent framework for physical-law discovery. (a) A reasoning LLM conducts literat

• 금속 유리의 결정화 능력(GFA) 예측: R² = 0.94의 높은 상관관계 달성
• 화합물의 비커스 경도 예측: R² = 0.86의 우수한 성능 달성
• 다중 성분 합금의 영률 예측: R² = 0.94 달성 및 4원, 5원 합금으로의 일반화 성공
• 실제 적용 성능: 발견된 Young's modulus 공식이 고전적 혼합 법칙 대비 최대 78.8% MAPE 감소
• 해석 가능성과 계산 효율성: 제1원리 계산과 기초 원자 모델보다 훨씬 높은 계산 효율성 제공

How

FIG. 1. Schematic of the proposed multi-agent framework for physical-law discovery. (a) A reasoning LLM conducts literat

• RAG를 통한 문헌 기반 변수 선택: 최신 과학적 맥락을 외부 지식 기반으로 통합
• 사용자 정의 프롬프트 설계: General Instruction, Task Description, Formula Memory, Example Output의 4가지 구성요소로 체계화
• Beam search와 reflection 메커니즘: 반복적으로 후보 공식을 제안, 평가, 정제
• 복합 점수 함수: NMSE 예측 오차와 λ 복잡도 페널티의 가중합으로 평형잡힌 평가
• 다중 에이전트 루프: 각 노드에서 생성 에이전트가 공식을 제안하고 피드백을 반영

Originality

• 혁신적 프레임워크 설계: LLM의 추론 능력과 symbolic regression의 해석 가능성을 다중 에이전트 구조로 통합한 새로운 접근
• RAG 기반 지식 통합: 외부 문헌 데이터베이스를 동적으로 활용한 변수 선택 및 제약 조건 설정
• Reflection 메커니즘: LLM 기반 자체 평가 및 반복 개선으로 환각 현상 감소
• 재료 과학 적용의 구체성: 세 가지 대표적인 재료 문제에서 체계적이고 일관된 결과 도출

Limitation & Further Study

• 모델 의존성: Gemini-2.5-flash에 특화된 성능으로, 다른 LLM 모델에서의 성능 검증 필요
• 데이터 품질 의존성: 실험 재료 데이터의 노이즈와 이질성에 대한 로버스트성 평가 미흡
• 스케일링 한계: 세 가지 구체적인 재료 문제만 검증했으며, 다른 과학 분야(화학, 생물학 등)로의 일반화 가능성 미명시
• 복잡도 페널티 선택: λ 값 설정의 이론적 근거와 민감성 분석 부재
• 계산 비용: LLM 쿼리 기반 접근의 실제 계산 비용 및 확장성에 대한 논의 부족

Evaluation

총평: 본 논문은 LLM 기반 다중 에이전트 프레임워크를 통해 물리 법칙 자동 발견에 새로운 패러다임을 제시하는 높은 수준의 연구이다. 세 가지 재료 과학 문제에서 높은 예측 성능과 해석 가능성을 동시에 달성했으며, 미검증 모델의 출력을 반복 검증하는 구조로 신뢰성을 강화했다. 다만 일반 과학 분야로의 확장성, 다양한 LLM 모델에서의 성능 일관성, 계산 비용 분석 등에서 추가 검증이 필요하다.