OpenSeesAgentBench: A Benchmark and Evaluation Framework for Agentic Structural Analysis in OpenSeesPy

Motivation

• Known: LLM은 코딩 및 대화형 추론에서 강력한 성능을 보이며, MASSE, lightweight OpenSeesPy agents, FeaGPT, Liu et al. 등 최근 연구들은 agentic structural analysis가 실현 가능함을 보여주었다.
• Gap: 기존 연구들은 evaluation을 executability 위주로 단순화하여 domain knowledge, code generation, workflow control, generalization, repair 능력을 하나의 결과로 뭉뚱그려 평가하고 있어, 무엇이 왜 실패했는지 파악하기 어렵고 benchmark 구성과 agent 역량이 혼동되는 문제가 있다.
• Why: 지진공학 및 구조 시뮬레이션 워크플로우는 모델 토폴로지, damping, time stepping, recorder 설정 등 작은 오류만으로도 과학적으로 무의미한 결과를 낳을 수 있어, 단순 실행 가능성이 아닌 auditable하고 contract 기반의 엄밀한 평가 체계가 반드시 필요하다.
• Approach: OpenSeesQuery(도메인 지식 90문항), OpenSeesCodeBench(코드 생성 24과제), OpenSeesWorkflowBench(OpenSeesBuildingBench calibration profile 기반 900개 워크플로우 케이스)로 구성된 3계층 벤치마크와, strict CaseSpec 검증·fail-closed 체크·bounded repair를 갖춘 contract-first reference 평가 스택을 함께 제시한다.

Achievement

Figure 4. Qualitative execution examples from OpenSeesBuildingBench calibration profile, shown for cases 01, 04, 08, and

1. 3계층 벤치마크 공개: 도메인 지식(OpenSeesQuery), 코드 생성(OpenSeesCodeBench), 종단간 워크플로우 실행(OpenSeesWorkflowBench)을 명시적으로 분리해 각 역량을 독립적으로 측정 가능하게 만들었다.
2. reference 실행 스택 공개: planner → input writer → local runner → reviewer(loop) → visualization으로 이어지는 multi-agent 아키텍처를 src/opensees_agent/에 공개하여 재현 가능한 평가를 지원한다.
3. 워크플로우 calibration 검증: OpenSeesBuildingBench calibration profile의 easy/medium/hard shard에서 관측된 expected-match rate(89.33%, 70.33%, 60.67%)가 목표치(89.67%, 70.33%, 60.67%)와 1 case 이내로 일치함을 보여, 실행 가능한 확장 하에서도 난이도가 보존됨을 입증했다.

How

Figure 3. Deterministic dataset construction and split gen-

• CaseSpec이라는 Pydantic 기반의 strict한 typed contract를 정의하여 자연어 요청을 구조화된 케이스로 매핑
• fail-closed validation과 preflight check를 통해 잘못된 케이스나 실행을 조기에 차단
• bounded 3단계 repair loop(reviewer)를 통해 실패를 진단하고 제한된 예산 내에서 수정
• OpenSeesBuildingBench calibration profile을 easy/medium/hard로 shard화하여 목표 expected-match rate를 사전 설정하고, 이를 실제 실행 결과와 비교하는 calibration study 수행
• 결정론적 데이터셋 구성 및 split 생성 절차(Figure 3)로 재현성 확보

Originality

• 기존 연구들이 system-centric하게 agent 성능을 하나의 지표로 뭉뚱그려 평가한 것과 달리, 지식·코드·워크플로우 역량을 명시적으로 분리하는 benchmark 설계를 제안
• contract-first 평가라는 개념(CaseSpec, fail-closed, bounded repair)을 구조공학 도메인에 처음 도입하여 AI-scientist 스타일 시스템 평가에 적용
• 특정 agent 아키텍처의 우월성을 주장하지 않고, benchmark 자체의 calibration을 검증하는 데 집중함으로써 benchmark 구성과 agent 능력을 명확히 분리하는 방법론적 태도를 취함

Limitation & Further Study

• 본 논문은 reference 스택 단일 결과만 보고하므로, 여러 agent 아키텍처 간 head-to-head 비교는 이루어지지 않아 실제 agent 능력 우열을 판단하기 어려움
• workflow 결과는 calibration study로 한정되며, 향후 다양한 agent 설계를 비교 평가하는 후속 연구가 필요함
• OpenSeesPy라는 단일 solver 도메인에 국한되어 있어 다른 solver나 더 넓은 multi-solver orchestration으로의 일반화 가능성은 검증되지 않음
• 900개 workflow case의 난이도 shard 설계가 실제 실무 시나리오의 다양성을 얼마나 대표하는지에 대한 외적 타당성 검토가 부족함

Evaluation

총평: 벤치마크 구성과 agent 역량 평가를 명확히 분리하려는 시도는 구조공학 AI 에이전트 평가 분야에 중요한 방법론적 기여를 하며, 공개된 reference 스택과 calibration 결과는 향후 비교 연구의 신뢰할 수 있는 기반이 될 것으로 보인다. 다만 현재는 단일 시스템의 calibration 검증에 그쳐 있어, 실제 다양한 agent 아키텍처 간 비교를 통한 실질적 유용성 입증은 후속 연구를 기다려야 한다.