When LLMs Solve ODEs: Failure Modes, Conservation Blind Spots, and Ground-Truth-Free Auditing

Motivation

• Known: Hamiltonian 계의 에너지 보존, 중심력 문제의 각운동량 보존 등 물리 법칙 기반 invariant는 물리 정보 기반 신경망(PINN), Hamiltonian/Lagrangian neural network, Neural ODE 등에서 학습 신호로 활용되어 왔으며, LLM hallucination 탐지에는 semantic entropy나 self-reported confidence 같은 텍스트 기반 기법이 주로 쓰여왔다.
• Gap: 기존 hallucination 탐지기법(semantic entropy, self-reported confidence)은 "의미"가 기하학적인 수치 궤적에는 적용되지 않으며, LLM이 직접 수치 궤적을 생성할 때 ground-truth 없이, 모델 내부 접근 없이 오류를 판별할 방법이 부재했다.
• Why: 과학 파이프라인에서 LLM이 코드 실행 없이 직접 수치 궤적을 산출하는 경우가 실제로 빈번하며, 이때 발생하는 오류는 겉보기에 그럴듯해 보이지만 보존 법칙을 크게 위반하는 "silent"한 오류이기 때문에 신뢰성 검증이 중요한 실용적, 안전성 문제이다.
• Approach: 6개의 동역학 시스템과 6개의 frontier LLM(총 85개 응답)에 대해 동일한 ODE 적분 프롬프트를 적용하고, invariant drift를 측정하는 conservation residual R과 국소적으로 governing ODE를 만족하는지 확인하는 step consistency S라는 두 ground-truth-free 신호를 계산·비교하는 실증적 벤치마크 연구를 수행한다.

Achievement

Figure 3. Within-task Spearman ρ for R (blue) and S (gold) on

1. 실패 유형 분류: LLM 수치 추론의 세 가지 실패 양상(catastrophic divergence, trivial-invariant collapse, phase drift)을 규명하고 각기 다른 검증 전략이 필요함을 보였다.
2. 보완적 감사 신호 제안: R은 catastrophic 실패를 잘 포착하지만 phase drift에는 구조적으로 눈이 멀고 trivially 만족될 수 있는 반면, S가 이 공백을 메꾼다는 것을 실증했다.
3. 강건한 순위 상관 검증: 모델 내부적으로 S가 실제 궤적 오차를 Spearman ρ∈[0.77,0.99]로 순위화하며, leave-one-task-out/leave-one-model-out 분석에서도 ρ∈[0.81,0.90]로 강건함을 확인했다.
4. 결정론적 vs 확률적 모델 구분 및 Goodhart 효과 문서화: 모델들이 결정론적/확률적 수치 추론자로 나뉘며(동일 프롬프트에서 1,000배 이상 오차 편차), invariant 보존을 유도하는 프롬프팅이 일부 모델에서 invariant는 보존하지만 동역학적으로는 틀린 궤적을 생성하는 Goodhart식 게이밍을 유발함을 밝혔다.

How

Figure 2. Per-task scatter of conservation residual R vs. true

• 6개 동역학 시스템(Hamiltonian/중심력 문제 등, 보존되는 invariant가 알려진 계)과 6개 frontier LLM을 대상으로 동일한 ODE 적분 요청 프롬프트를 사용
• 각 응답에 대해 conservation residual R(알려진 invariant의 시간에 따른 drift 측정)과 step consistency S(궤적이 국소적으로 governing ODE를 만족하는지, 즉 국소 미분방정식 잔차 검사)를 계산
• 실제 참조 solver로 계산한 true trajectory error와 R, S 간의 Spearman 순위 상관을 모델별로 산출하고 R vs S의 실패 포착 범위를 대조
• leave-one-task-out, leave-one-model-out 교차검증으로 신호의 강건성 확인
• 동일 프롬프트 반복 실행을 통해 모델별 출력 분산(결정론적 vs 확률적)을 측정
• 물리 정보 기반 프롬프팅(invariant 보존을 명시적으로 요구)을 추가 조건으로 실행해 Goodhart-style 게이밍 여부를 관찰

Originality

• LLM이 직접 수치 궤적을 생성하는 "direct-trajectory mode"라는, 기존에는 도구 매개(tool-mediated) 방식에 가려져 있던 위험한 사용 패턴을 명시적으로 분리해 연구 대상으로 삼음
• 기존 물리 정보 기반 머신러닝 연구들이 invariant를 학습 신호로 사용한 것과 달리, 이를 opaque LLM 출력에 대한 post-hoc 감사(audit) 신호로 재해석함
• 단일 신호(conservation residual)의 구조적 맹점(phase drift에 무감각, trivial satisfaction 가능성)을 지적하고 이를 보완하는 두 번째 신호(step consistency)를 결합해 상호보완적 진단 체계를 구축
• Goodhart's law 관점에서 물리 informed 프롬프팅이 역설적으로 평가지표 게이밍을 유발함을 실증적으로 드러냄

Limitation & Further Study

• 85개 응답, 6개 시스템·6개 모델이라는 비교적 작은 표본 규모로 인해 절대 오차 calibration이 아닌 순위화(ranking) 목적으로만 신호의 유효성이 검증됨(저자들도 명시)
• 연구 대상이 "직접 궤적 생성" 모드에 국한되어 있어, 실제 대다수 워크플로우인 tool-mediated 방식에서의 적용 가능성은 별도 검증이 부족함
• 제안된 R, S 신호는 governing ODE와 invariant가 명시적으로 알려진 구조화된 문제에만 적용 가능하며, invariant가 알려지지 않거나 정의하기 어려운 임의의 동역학계에는 일반화가 제한적일 수 있음
• Goodhart-style 게이밍 현상이 관찰된 모델과 조건이 제한적이어서, 이 현상의 보편성이나 근본 원인에 대한 심층 분석이 추가로 필요함
• 향후 연구로 더 많은 모델·시스템·프롬프트 변형에 대한 대규모 검증과, invariant가 불명확한 일반 ODE에 대한 확장이 필요함

Evaluation

총평: LLM의 수치 추론 신뢰성 문제를 명확한 실패 분류와 실용적인 ground-truth-free 감사 신호로 체계화한 흥미롭고 시의적절한 연구로, 표본 규모의 한계에도 불구하고 과학 응용 분야에서 LLM 출력을 검증하는 실질적 방법론을 제시한다.