MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration

Motivation

• Known: 기존 computational materials science 에이전트들은 특정 시뮬레이션 코드에 묶인 파이프라인 구조와 확장성 문제를 갖는 수동 작성 도구 함수에 의존하고 있으며, code-as-action 패러다임은 tool-call 기반 에이전트보다 20% 높은 성공률을 달성한 것으로 알려져 있다.
• Gap: 기존 에이전트들은 파이프라인 바인딩으로 인해 다양한 코드의 조합 워크플로에 적응 불가능하고, 도구 함수 의존성으로 새로운 도메인 확장에 높은 개발 비용이 들며, 장기 워크플로에서 문맥 손실로 인한 실행 일관성 유지 문제가 있다.
• Why: 멀티코드 워크플로 오케스트레이션과 자동화된 materials discovery는 domain expertise의 수동화를 줄이고 연구 효율을 크게 향상시킬 수 있으나, 기존 에이전트들의 확장성과 장기 워크플로 유지 문제가 이를 제약하고 있다.
• Approach: code-as-action 패러다임으로 Python 코드 직접 생성·실행, 4계층 메모리 구조(conversation history, experience log, database query layer, hierarchical message truncation)로 문맥 손실 방지, RAG with structure-aware code chunking으로 API 정확도 향상, phase-plan-code-summary 구조화된 응답 형식으로 토큰 생성 최적화.

Achievement

Figure 5: Chunking method comparison on pymatgen code QA (300 questions, Gemini 3.0 Flash,

API 정확도 개선: RAG를 통해 단계당 약 99% API-call 정확도 달성. 3개의 end-to-end 데모: ferroelectric CuInP2S6에 대한 machine-learning force field training (active learning), Curie temperature 예측, heuristic parameter-space search 시연. 가이드 자율성 모델: literature self-learning과 expert-specified constraints를 통해 tacit domain knowledge 부재 극복. 오픈소스 공개: 모든 코드와 벤치마크 공개.

How

Figure 1 illustrates the overall architecture. MatClaw adopts the code-as-action paradigm [Wang

• Python 코드 직접 작성·실행으로 도구 함수 없이 다양한 라이브러리 조합. - 4계층 메모리: retrievable conversation history로 이전 파라미터/경로 회수, experience log로 실패 교훈 축적, database query layer로 계산 결과 직접 접근, hierarchical message truncation으로 문맥 압축. - RAG pipeline: structure-aware chunking으로 도메인 소스 코드 검색 정확도 향상. - phase-plan-code-summary 구조로 autoregressive 생성 최적화. - CuInP2S6 케이스에서 VASP, DeePMD-kit, 기타 도메인 라이브러리 통합 오케스트레이션.

Originality

• Code-first paradigm을 computational materials science의 복잡한 다중 코드 워크플로에 처음 적용. - 4계층 메모리 구조(conversation history + experience log + database + hierarchical truncation)는 기존 에이전트의 context window 관리 방식과 차별화된 설계. - Single-agent unified state 유지로 multi-agent 디자인의 조정 오버헤드 회피. - Phase-plan-code-summary의 명시적 구조화는 autoregressive 생성의 순서 의존성을 최적화한 신규 접근.

Limitation & Further Study

Tacit domain knowledge의 부재: 적절한 simulation timescale, equilibration protocol, sampling strategy 등 연구 경험을 통해 축적되는 지식 결핍. 가이드 필요성: 완전 자율은 어렵고 literature self-learning과 expert-specified constraints가 필수. 평가 범위 제한: CuInP2S6 단일 재료에 대한 3개 케이스 시연으로 다양한 materials 및 워크플로 범위 확대 필요. 에러 회복 메커니즘 상세 미흡: 실패 처리 및 자동 재시도 전략에 대한 구체적 설명 부족. Hallucination 통제: LLM의 코드 생성 오류나 환각이 complex workflow에서 미치는 영향 평가 필요.

Evaluation

총평: MatClaw는 computational materials science의 자동화에 매우 실질적인 기여를 하는 code-first LLM 에이전트이다. 파이프라인 바인딩과 도구 함수 의존성이라는 기존 에이전트의 근본적 제약을 극복하고, 4계층 메모리와 RAG를 통해 장기 워크플로 실행의 일관성을 상당히 개선했다. 다만 tacit domain knowledge 부재로 완전 자율화는 아직 미흡하며, 평가가 단일 재료에 국한되어 일반화 가능성 검증이 필요하다. 전체적으로 방향성과 기술 통합은 우수하나, 광범위한 실제 응용 검증을 위해 보완이 필요한 단계이다.