Can Large Language Models Design Effective Neural Operators for Solving Partial Differential Equations?

Motivation

• Known: FNO, DeepONet, Transolver, LNO 등 neural operator는 PDE를 빠르게 근사할 수 있지만, PDE 구조에 맞는 아키텍처 설계는 여전히 전문가의 직관과 시행착오에 크게 의존하는 "art"에 가깝다. LLM agent는 code generation, hardware design, hyperparameter tuning 등 다양한 자동화 작업에서 가능성을 보여왔다.
• Gap: CodePDE, PINNsAgent 등 기존 LLM 기반 PDE 자동화 연구는 전통적 solver나 PINN 코드를 수치 성능 기준으로만 생성할 뿐 이론적 근거를 반영하지 않으며, 엄밀한 수학적 통찰에 기반해 neural operator를 end-to-end로 설계하는 LLM agent 연구는 전무하다.
• Why: neural operator 설계를 전문가 의존적 예술에서 이론 기반의 자동화된 과학적 프로세스로 전환할 수 있다면, 비전문가도 PDE 문제에 맞는 고성능 신경망 solver를 손쉽게 얻을 수 있어 scientific machine learning의 접근성과 재현성이 크게 향상된다.
• Approach: PDE 문제 명세를 자연어로 구조화하여 입력하면, Theorist가 이론적으로 타당한 operator 백본과 수식을 선정·유도하고, Programmer가 PyTorch 구현을 작성하며, Critic이 수치·소프트웨어적 결함을 적대적으로 검토하고, Refiner가 이를 수정하는 4-agent 순환 파이프라인을 자동 PDE solver와 결합해 데이터 생성부터 학습, 평가까지 완결한다.

Achievement

1. 성능 우위: 다양한 정형/비정형 기하 PDE 벤치마크에서 LLM이 설계한 neural operator가 FNO, DeepONet, Transolver, LNO 등 강력한 human-designed baseline보다 정확도와 sample efficiency 면에서 일관되게 우수함을 보였다.
2. 강건성: 서로 다른 discretization과 noisy initial condition 하에서도 안정적인 성능을 유지함을 확인했다.
3. Ablation을 통한 구성요소 검증: Critic과 Refiner 단계를 제거하면 수치적 안정성과 일반화 성능이 저하됨을 보여, 두 agent가 파이프라인의 핵심 요소임을 입증했다.
4. 한계 규명: 난해한 이론을 다룰 때 LLM이 언어적 유사성에 과적합하고 기능적 동등성을 무시하는 hallucination 경향이 있음을 관찰했다.

How

• PDE 수식을 이름, 방정식, 도메인, 초기/경계조건, source term을 포함한 구조화된 자연어 명세(structured natural language format)로 변환
• Theorist agent가 FNO, DeepONet, Transolver, LNO 등 기존 operator factory를 참고해 이론적으로 타당한 backbone을 선택하고 수식을 유도
• Programmer agent가 이를 self-contained PyTorch 구현으로 변환
• Critic agent가 수학적 정확성, 수치적 이슈, 버그·비효율성을 적대적으로 검토
• Refiner agent가 Critic 피드백을 반영해 코드와 이론을 재수정하는 루프를 반복
• 자동 PDE solver가 학습 데이터 생성, 모델 학습, 평가지표 및 플롯 산출까지 전체 파이프라인을 완결
• role-playing system prompt(세계적 수학자, PyTorch 전문가, 적대적 리뷰어, 디버깅 전문가 역할 부여)를 통해 각 agent의 전문성을 유도

Originality

• neural operator 설계를 이론(Theorist)-구현(Programmer)-비평(Critic)-수정(Refiner)의 4-agent 협업 루프로 정식화한 최초의 시도
• CodePDE, PINNsAgent와 달리 수치 성능뿐 아니라 엄밀한 수학적 이론(approximation error, function space 등)에 기반해 아키텍처를 설계하도록 LLM을 유도
• role-playing 기반 system prompt를 통해 적대적 검토(adversarial review) 메커니즘을 명시적으로 파이프라인에 내장
• neural operator 설계 과정을 "art에서 science로" 전환한다는 프레이밍 자체가 독창적 관점 제시

Limitation & Further Study

• 발췌된 초록·서론만으로는 구체적 벤치마크 수, 사용한 LLM 종류(모델명), 실험 세부 설정(하이퍼파라미터, 반복 횟수) 등이 명확히 드러나지 않아 재현성 검증에 한계가 있다.
• 난해하거나 새로운 이론적 구조를 다룰 때 LLM이 hallucination을 일으키고 언어적 유사성에 과적합한다는 한계가 스스로 보고되어, 완전 자동화의 신뢰성에는 여전히 사람의 검증이 필요할 수 있다.
• 4-agent 루프의 반복 횟수, 수렴 기준, 계산 비용(LLM 호출 비용) 등에 대한 정량적 분석이 부족해 실제 활용 시 스케일러빌리티가 불분명하다.
• 후속 연구로 다양한 LLM backbone에 대한 일반화 검증, 더 복잡한 다물리 PDE(coupled multi-physics) 시스템으로의 확장, hallucination 완화를 위한 검증 메커니즘 강화가 필요하다.

Evaluation

총평: LLM agent를 활용해 neural operator 설계 과정을 이론-구현-비평-수정의 협업 루프로 자동화한 참신하고 시의적절한 시도로, scientific machine learning의 자동화 및 접근성 향상에 기여할 잠재력이 크나, 발췌 내용상 실험적 엄밀성과 hallucination 한계에 대한 추가 검증이 필요하다.