SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

Motivation

• Known: 기존 연구들은 LLM을 이용한 과학적 워크플로우 자동화(코드 생성, 도구 호출)와 이를 평가하는 벤치마크(ScienceAgentBench, DiscoveryBench, ChemCrow 등)를 다수 제시했으나, 대부분 pass@k 등 정확도 및 LLM 토큰 비용에만 초점을 맞추었다.
• Gap: 시뮬레이션 시간이나 실험 자원 같은 tool-use 비용은 거의 고려되지 않았으며, 일부 벤치마크가 비용을 다루더라도 wall-time 기반이라 플랫폼에 종속적이거나 LLM 추론 비용과 혼재되어 있어 현실적인 예산 제약 하에서의 평가가 불가능했다.
• Why: 물리 시뮬레이션에서 파라미터(해상도, 수렴 허용오차 등) 선택은 정확도와 계산 비용 사이의 트레이드오프를 직접 결정하며, 비용을 무시한 pass@k와 같은 지표는 수많은 값비싼 시도 후에야 정답을 찾는 비현실적인 에이전트를 조장할 위험이 있어, 비용 인식형 평가가 과학 에이전트 설계에 필수적이다.
• Approach: 유체역학, 고체역학, 플라즈마 물리 등 13개 시뮬레이터에 걸쳐 단일 라운드(초기 추정)와 다중 라운드(시행착오) 과제를 구성하고, 각 시뮬레이터의 비용을 플랫폼 독립적인 FLOPs 기반으로 분석적으로 정의하여 LLM 튜닝을 전통적 스캐닝 및 베이지안 최적화와 정확도·비용 양 측면에서 비교하였다.

Achievement

Figure 2. Overall performance across models, accuracy levels, and inference modes. SR = Single-Round, MR = Multi-Round;

1. 최초의 비용 인식 벤치마크: 물리 시뮬레이션에서 성공률과 계산 비용을 동시에 측정하는 최초의 벤치마크를 구축함.
2. 대규모 태스크셋 구성: 13개 시뮬레이터에 걸쳐 2,947개 단일 라운드와 1,931개 다중 라운드 과제를 확장 가능한 툴킷과 함께 제공함.
3. 핵심 성능 발견: frontier LLM들이 단일 라운드에서 46-65%(고정확도 요구 시 35-55%)의 성공률을 보이고, 다중 라운드에서는 72-81%로 개선되지만 전통적 스캐닝보다 1.5-2.5배 느려 비경제적임을 규명함.
4. 파라미터 그룹 상관성 및 in-context/reasoning effort 분석: 파라미터 간 지식 전이 가능성이 낮고, in-context 예시가 단일 라운드 성능은 향상시키지만 다중 라운드에서는 오히려 저해함을 발견함.

How

Figure 2. Overall performance across models, accuracy levels, and inference modes. SR = Single-Round, MR = Multi-Round;

• 13개 시뮬레이터(유체역학, 열전달, 고체역학, 플라즈마 물리)에 대해 코어 연산 FLOPs를 기반으로 플랫폼 독립적인 비용 지표를 정의함.
• 단일 라운드(초기 추정)와 다중 라운드(시행착오 조정) 두 가지 튜닝 모드로 태스크를 설계하고, 정확도 요구 수준을 달리하여 평가함.
• frontier LLM들의 성능을 brute-force scanning 및 Bayesian optimization과 비교 분석함.
• 파라미터 그룹 간 상관관계를 조사해 지식 전이 가능성을 평가하고, in-context 예시 제공 및 reasoning effort 조절의 영향을 ablation study로 분석함.

Originality

• 기존 벤치마크가 다루지 않던 tool-use 비용(시뮬레이션 시간, 실험 자원)을 명시적으로 정량화하여 평가 지표에 포함시킨 최초의 시도임.
• FLOPs 기반의 분석적이고 플랫폼 독립적인 비용 정의를 통해 하드웨어에 종속되지 않는 비교 가능한 벤치마크를 구축함.
• 단일/다중 라운드 모드를 구분해 초기 추정과 시행착오적 조정이라는 서로 다른 실제 워크플로우 패턴을 모두 포착함.
• 파라미터 그룹 간 지식 전이 가능성, in-context learning, reasoning effort 등 실무적 함의를 제공하는 다각적 ablation을 수행함.

Limitation & Further Study

• 13개 시뮬레이터 중 EPOCH과 CGYRO 등 일부는 여전히 wall-time 기반 비용 측정에 의존하여 완전한 플랫폼 독립성을 달성하지 못함.
• 벤치마크가 정적(static)이라 향후 새로운 시뮬레이터나 LLM 버전에 대한 지속적 확장 및 검증이 필요함.
• 파라미터 그룹 간 상관관계가 낮다는 결론이 제한된 시뮬레이터 세트에서 도출된 것으로, 더 다양한 물리 도메인에서의 일반화 검증이 요구됨.
• LLM이 스캐닝 알고리즘을 직접 호출하도록 유도하는 하이브리드 전략에 대한 심층 실험이 후속 연구로 필요함.

Evaluation

총평: 비용 인식이라는 중요하지만 간과되어 온 차원을 물리 시뮬레이션 LLM 에이전트 평가에 체계적으로 도입한 견고하고 실용적인 벤치마크 연구로, 향후 비용 효율적 과학 에이전트 설계 연구에 중요한 기반을 제공할 것으로 기대된다.