SeisAgentBench: A Failure-Aware Core Benchmark for Multi-Agent Earthquake Rupture Inversion and Forward Validation

Motivation

• Known: 지진 파열 과정 역산은 구조, Green's function, 정규화, 데이터 선택에 대한 강한 불확실성 하에서 수행되며, non-uniqueness 문제로 인해 Source Inversion Validation과 같은 표준화 노력이 비교가능성과 재현성을 위해 중요하게 인식되어 왔다. ObsPy, Pyrocko, gmprocess, Grond, WISP, OpenSWPC, SeisSol, SPECFEM, SW4 등 개별 오픈소스 도구들이 전처리, 소스 탐색, 역산, 순방향 시뮬레이션 각 단계를 지원하고 있다.
• Gap: 이종 도구들이 포맷, 전처리 관례, 실행 가정에서 서로 달라 연구자들이 데이터 변환과 도구 간 모델 비교가능성 확인에 상당한 노력을 소모하며, tool-using agent가 이러한 realistic한 rupture-analysis orchestration을 학습·평가할 수 있는 널리 채택된 공유 벤치마크가 부재하여, 관찰된 성능 향상이 숨겨진 전처리나 백엔드 기본값에서 온 것인지 실제 과학적 추론 개선에서 온 것인지 구분하기 어렵다.
• Why: 공유 벤치마크 없이는 AI-assisted seismology에서의 성능 향상 원인을 해석하기 어렵고, disagreement handling, reranking, abstention과 같은 강건한 과학적 의사결정 능력을 평가할 auditable한 testbed가 필요하기 때문에 중요하다.
• Approach: 표준화된 interaction episode(단일 input-output 쌍이 아닌 사건 정의·전처리·역산·검증·거버넌스를 포괄하는 case file)를 핵심 단위로 삼아, 단계적(phase 1~3) 데이터 수집 계획과 공통 스키마(EventHypothesis, WaveformBundle, VelocityModelRef, InversionRequest, CandidateResult)를 통해 언어 agent와 결정론적 백엔드 엔진 간 재현 가능한 orchestration을 평가한다.

Achievement

1. Failure-aware core benchmark 제안: rupture inversion과 forward validation에 초점을 맞춘 초기 릴리스로, disagreement handling, reranking, abstention, reproducible execution을 평가할 수 있는 auditable testbed를 설계함.
2. 표준화된 interaction episode 스키마 정의: 사건 정의, 목적, waveform/station context, 전처리 레시피, 백엔드 액션, 후보 출력, 검증 결과, 실행 트레이스를 포괄하는 case file 형태의 episode 단위를 도입함.
3. 단계적(Phased) 데이터 수집 로드맵 수립: synthetic/semi-synthetic episode(Phase 1), replayable historical-event episode(Phase 2), failure-heavy 시나리오(Phase 3)로 구성된 acquisition plan을 제시함.
4. 거버넌스 및 메타데이터 체계 설계: 공유 오브젝트 레이어를 통한 스키마 정합성 자동 검사, 라이선싱과 tiered access(open/controlled/redacted) 및 reconstruction manifest를 통한 책임 있는 공유 체계를 마련함.

How

• Episode 파이프라인: ObsPy, Pyrocko, gmprocess로 waveform/metadata 전처리 → Grond로 소스 후보 생성/수집 → WISP로 finite-fault inversion 수행 → OpenSWPC, SeisSol, SPECFEM, SW4로 선택 후보 검증 → 선택적으로 GeoGPT 기반 보조 리뷰 첨부(ground truth나 solver 대체가 아닌 supplemental evaluator artifact로만 사용) → 아티팩트, 매니페스트, 트레이스, failure label, 리소스 로그를 공통 스키마로 저장.
• 입력 모달리티로 strong-motion data, teleseismic data, GNSS, geodetic constraint를 포함.
• 공유 오브젝트 레이어(EventHypothesis, WaveformBundle, VelocityModelRef, InversionRequest, CandidateResult)를 agent-backend adapter 간 계약으로 사용해 schema conformance, field completeness, preprocessing consistency를 사전 검증.
• 라벨을 reference, comparative, consistency, workflow로 그룹화하고, 라이선싱과 open/controlled/redacted 접근 모드로 거버넌스를 구성.

Originality

• 기존 AgentBench, ScienceAgentBench 등 범용 언어 agent 벤치마크와 달리, 지진학 rupture 역산·순방향 검증이라는 도메인 특화 이종 과학 소프트웨어 생태계(9개 이상 실제 도구)를 대상으로 한 벤치마크를 제안함.
• 단일 input-output 예측이 아닌 case file 형태의 "interaction episode"를 벤치마크 기본 단위로 정의하여, 과학적 의도·증거·계산 과정·결론 도출 경로 전체를 보존하는 auditability 중심 설계를 채택함.
• GeoGPT를 ground truth나 solver 대체가 아닌 선택적 보조 평가자로만 제한적으로 포함시켜, LLM 기반 평가의 신뢰성 한계를 명시적으로 인정하는 설계 철학을 취함.
• failure-heavy 시나리오(후보 충돌, 전처리 divergence, forward validation에 의한 reranking/rejection)를 명시적 벤치마크 구성요소로 도입해 단순 solver 호출이 아닌 견고한 과학적 의사결정 평가를 지향함.

Limitation & Further Study

• 본 논문은 workshop position/proposal 성격의 짧은 논문으로, 실제 데이터셋 구축, 정량적 baseline 실험, 평가 지표(metric) 결과가 전혀 제시되지 않아 벤치마크의 실질적 유용성과 난이도를 검증할 수 없음.
• Phase 2/3(historical event, failure-heavy 시나리오)의 구체적 규모, 수집 방법, 품질 관리 절차가 미정으로 남아 있어 실제 구현 가능성이 불확실함.
• GeoGPT 기반 evaluator의 신뢰성 검증 방법이나 인간 평가와의 일치도에 대한 논의가 부족함.
• 후속 연구로 실제 episode 데이터 공개, baseline agent 성능 측정, 도메인 전문가와의 라벨 신뢰도 검증이 필요함.

Evaluation

총평: 지진학 도메인에 특화된 failure-aware multi-agent 벤치마크라는 아이디어는 참신하고 필요성이 명확하지만, 현재는 개념적 로드맵과 스키마 설계 수준에 머물러 있어 실제 데이터셋과 실험 결과가 뒷받침되어야 벤치마크로서의 가치를 온전히 평가할 수 있다.