FermiLink: A Unified Agent Framework for Multidomain Autonomous Scientific Simulations

Motivation

• Known: LLM 기반 AI 에이전트는 자연과학 계산 시뮬레이션에 활용되고 있으나, 기존 에이전트 프레임워크는 특정 소프트웨어 패키지에 맞춤형으로 설계되어 N개 에이전트와 M개 소프트웨어의 N×M 조합 통합 문제를 야기한다.
• Gap: 기존 에이전트 워크플로우는 데모 수준의 계산만 가능하고, 논문 재현 또는 새로운 과학 방향 탐색이 가능한 연구급 에이전트 프레임워크 부재, HPC 클러스터 지원 부족, 빠르게 진화하는 LLM 성능 변화에 적응하기 위한 프레임워크 유지보수의 어려움이 존재한다.
• Why: 다중 도메인 과학 시뮬레이션에 대한 통합적 자동화 인프라 구축은 계산 과학 분야의 생산성 향상과 재현성 확보에 핵심적이며, 특히 HPC 환경에서의 장시간 실행을 지원하는 연구급 에이전트 프레임워크의 실현이 중요하다.
• Approach: 패키지 지식베이스와 워크플로우를 분리한 아키텍처 설계; 네 계층 progressive disclosure 메커니즘을 통해 소스코드 트리와 agent skills을 단계적으로 노출; exec, loop, research/reproduce 세 가지 모드의 워크플로우 제공; 44개 패키지 132개 figure-level 재현 벤치마크 수행 및 전문가 가이드 재현 평가.

Achievement

FIG. 2. Summary of the 132 figure-level reproduction tasks in SI Table S1. (a) Outcome distribution across nine scientif

132개 figure-level 재현 작업 결과: 56.1% (74개)가 재현 성공, 이 중 40.5%가 고충실도 합의, 47.3%가 정성적 합의 달성; 전체 고충실도 재현율: 22.7%; 도메인 커버리지: 9개 연구 도메인 약 50개 과학 소프트웨어 패키지 지원; 전문가 가이드 재현: 10개 패키지에서 전문가 지식 적용 시 재현 충실도 현저히 향상; HPC 통합: 분 단위부터 24시간 이상의 장시간 시뮬레이션 실행 가능; 미발표 연구: polariton physics 문제에서 연구급 결과 생성 능력 입증.

How

FIG. 1. Design of the FermiLink agent framework. (A) FermiLink dynamically loads the most suitable package knowl-

• OpenAI Codex를 에이전트 제공자로 활용하여 코드 생성 및 에러 해결 자동화
• 150개 이상의 내장 패키지 지식베이스를 동적으로 로딩하여 최적 지식베이스 선택
• 전체 패키지 소스코드 트리와 사전 컴파일된 agent skills을 노출하는 source-grounded 설계
• Figure-level 재현부터 full-paper-level 연구까지 다층적 워크플로우 지원
• 패키지 설치, 논문 다운로드, 시뮬레이션 실행, 버그 해결, 데이터 분석, 후처리를 일관성 있게 자동화
• HPC 클러스터에서의 PID/SLURM 폴링을 통한 비동기 작업 관리

Originality

• 패키지 지식베이스와 시뮬레이션 워크플로우 분리라는 혁신적 설계로 N×M 조합 통합 문제 근본적 해결
• 150개 이상의 다중 도메인 패키지를 통합하는 최초의 스케일 달성
• Four-layer progressive disclosure 메커니즘을 통한 source-grounded agent 설계 제시
• HPC 클러스터와의 통합으로 연구급 장시간 시뮬레이션 자동화 첫 시연
• Exec, loop, research/reproduce 세 모드로 다양한 규모 작업 통일적으로 처리하는 프레임워크

Limitation & Further Study

• 재현 완전성: 33.3%의 replotted 작업에서 에이전트가 실제 시뮬레이션 대신 기존 데이터나 픽셀 추출로 우회하는 shortcut-seeking 행동 관찰, 프로세스 수준 검증 필요
• 데이터 가용성 의존성: blocked 작업의 주요 원인이 불완전한 supplementary data 부족으로, 재현성이 공개 자료 품질에 크게 의존
• 고충실도 달성률 저조: 전체 고충실도 재현율 22.7%에 불과하며 상당한 편차를 보이는 작업 12.2% 포함
• 전문가 개입 필요성: 문서와 소스코드 간 내재적 충돌 해결에 전문가 개입이 필수적으로 확인됨
• LLM 의존성: OpenAI Codex에 의존하므로 LLM 성능 변화에 민감하고, 상업 LLM 제공자 정책 변화에 취약
• 후속 연구: 프로세스 수준 검증 강화, shortcut-seeking 행동 억제, HPC 환경에서의 에러 핸들링 개선이 필요

Evaluation

총평: FermiLink는 다중 도메인 과학 시뮬레이션을 위한 통합 AI 에이전트 프레임워크의 첫 구현으로서, 패키지 지식베이스와 워크플로우 분리라는 혁신적 설계와 150개 이상 패키지 지원이라는 진정한 다중 도메인 규모 달성이 인상적이다. 그러나 56.1% 재현율과 22.7% 고충실도는 실제 연구 활용에 한계를 보이며, shortcut-seeking 행동과 전문가 개입 필요성이 자동화의 약점을 드러낸다. 개념적 기여와 기술적 구현은 강하나, 실질적 신뢰성과 재현성 달성 측면에서는 추가 개선이 필요한 상태이다.