Discovering Ordinary Differential Equations with LLM-Based Qualitative and Quantitative Evaluation

Motivation

• Known: SINDy는 사전 정의된 기저 함수 라이브러리를 통한 sparse regression으로 동역학계를 발견하며, ODEformer와 같은 symbolic regression(SR) 방법들은 Transformer나 진화 알고리즘 대신 LLM을 활용해 수치 데이터로부터 ODE를 생성한다.
• Gap: 기존 SR 및 LLM 기반 방법들은 MSE나 모델 복잡도 같은 정량적 지표에만 의존하여 후보 방정식을 평가하기 때문에, 수치적으로는 오차가 낮더라도 물리적으로 타당하지 않은 항이 선택될 수 있는 한계가 있다(Figure 1 참고).
• Why: 실세계 미분방정식 모델링은 물리적 타당성(도메인 지식)을 반드시 고려해야 하며, 정량적 지표만으로는 진짜 물리 법칙과 우연히 낮은 오차를 보이는 잘못된 방정식을 구분할 수 없기 때문에 정성적 평가의 통합이 과학적 발견의 신뢰성을 높이는 데 중요하다.
• Approach: DoLQ는 Sampler Agent가 물리적 근거를 갖춘 후보 항을 제안하고, Parameter Optimizer가 파라미터를 최적화하며, Scientist Agent가 정성적·정량적 평가를 종합해 반복적으로 탐색을 유도하는 3단계 다중 에이전트 프레임워크이다.

Achievement

1. 다중 차원 ODE 벤치마크에서의 우수한 성능: DoLQ는 기존 방법들에 비해 더 높은 성공률(success rate)을 달성하고, ground truth 방정식의 정확한 symbolic terms을 더 정확하게 복원하였다.
2. 정성-정량 통합 프레임워크 검증: 정성적 물리 추론을 탐색 루프에 명시적으로 내재화하여 수치 정확도와 물리적 해석 가능성을 동시에 만족하는 방정식을 발견함을 입증하였다.
3. 정성 평가의 효과 입증: Scientist Agent의 정성적 평가가 물리적으로 타당하지 않은 항을 걸러내는 데 효과적임을 실증적으로 보였다(예: Glider 시스템 사례, Figure 3).
4. 효율적인 토큰 사용: 4D Glider 시스템 실험(Figure 5)에서 누적 token usage 측면에서도 효율성을 보임을 확인하였다.

How

• Sampler Agent: 시스템 설명(T)과 Scientist Agent의 피드백을 바탕으로 각 차원에 대한 후보 항(candidate terms)과 자연어 물리적 근거(justification)를 생성하며, 각 항은 실행 가능한 Python 스니펫(params[...] 형태)으로 출력됨.
• Parameter Optimizer: Sampler Agent가 제안한 항 리스트를 실행 가능한 skeleton function으로 구성하고, 수치적으로 추정된 미분값과의 residual MSE(Eq. 2)를 최소화하여 파라미터 θ를 최적화함. Integral MSE 대신 residual MSE를 사용해 계산 비용과 다차원 시스템에서의 오차 전파 문제를 완화함.
• Scientist Agent: LLM을 활용해 각 항에 대해 정성적 의미론적 평가와 정량적 반복 비교(iterative comparison)를 수행하고, 이를 종합해 "keep" 또는 "hold" 등의 액션을 결정하여 다음 반복(iteration)의 탐색 방향을 안내함.
• 전체 시스템은 위 세 요소가 반복적 루프(iterative loop)를 이루며 방정식을 점진적으로 정제함.

Originality

• 기존 symbolic regression 및 LLM 기반 SR 연구가 정량적 지표(MSE, 복잡도)에만 의존했던 것과 달리, LLM의 정성적(물리적 타당성) 판단을 정량적 평가와 명시적으로 결합한 최초의 다중 에이전트 프레임워크를 제안함.
• Sampler Agent, Parameter Optimizer, Scientist Agent로 역할을 분리하여 각각이 항 제안, 파라미터 최적화, 정성·정량 평가 종합이라는 명확한 역할을 수행하도록 설계한 협업형(collaborative) 아키텍처가 독창적임.
• Residual MSE를 도입하여 다차원 ODE 시스템에서 발생하는 궤적 발산 문제와 계산 비용 문제를 동시에 해결한 점도 실용적 기여로 볼 수 있음.

Limitation & Further Study

• 본문 발췌에서는 Scientist Agent의 정성적 평가 기준(어떤 방식으로 물리적 타당성을 판단하는지)에 대한 구체적 알고리즘이 명확히 드러나지 않아, 정성 평가의 재현성 및 신뢰성 검증이 추가로 필요함.
• 시스템 설명(T)을 수동으로 준비해야 한다는 점에서, 실제 응용 시 도메인 지식이 부족하거나 텍스트화되지 않은 경우 적용이 제한될 수 있음.
• LLM 호출 비용(토큰 사용량)이 여전히 상당할 수 있어, 대규모 또는 고차원 시스템으로의 확장성에 대한 추가 검증이 필요함.
• 후속 연구로는 다양한 LLM 백본에 대한 강건성 분석, 정성 평가 기준의 정량화, 실제 관측 데이터(노이즈 포함)에서의 성능 검증 등이 요구됨.

Evaluation

총평: 정량적 평가에 정성적 물리 추론을 결합한 LLM 기반 다중 에이전트 ODE 발견 프레임워크로, 기존 SR 방법의 근본적 한계를 명확히 짚고 실효성 있는 해결책을 제시한 완성도 높은 연구이다.