Grounding LLMs in Scientific Discovery via Embodied Actions

Motivation

• Known: LLM은 문헌 리뷰, 가설 생성, 실험 자동화 등 과학적 발견의 여러 단계에서 유망한 능력을 보여왔으며, code-as-action이나 API encapsulation(Model Context Protocol 등)과 같은 방식으로 과학 소프트웨어와 연동되어 왔다.
• Gap: 기존 방법들은 모두 "execute-then-response"라는 수동적 루프를 따르기 때문에, 실행이 끝난 후에만 피드백을 얻을 수 있고 실행 도중의 runtime perception이 결여되어 있다. 이로 인해 numerical instability나 diverging oscillation 같은 즉각적 오류로 이어지지 않지만 과학적 결과를 무효화할 수 있는 transient anomaly를 놓치게 된다.
• Why: 과학적 발견, 특히 engineering design과 같은 process-oriented 시나리오에서는 이론적 유도뿐 아니라 실행 도중의 검증 가능성이 필수적이며, 이를 무시하면 LLM이 물리적 검증을 통과하지 못하는 "hallucinated" discovery를 만들어낼 위험이 있다.
• Approach: 인간의 인지 구조(cognitive architecture)를 본떠 Strategic Planner(전전두피질), Primitive Generator(두정엽피질), Runtime Monitor(편도체)로 구성된 LLM 기반 embodied agent를 설계하고, Asynchronous State Synchronization Protocol을 통해 LLM과 과학 소프트웨어 간의 지속적 연결을 유지하여 tight perception-action loop를 구현한다.

Achievement

1. EmbodiedAct 프레임워크 제안: 기존 과학 소프트웨어를 능동적 embodied agent로 전환하는 새로운 패러다임을 제시하여, code-as-action과 API encapsulation의 한계인 "execute-then-response" 구조를 극복함.
2. SOTA 성능 달성: MATLAB 환경에서 복잡한 engineering design 및 scientific modeling 과제에 대해 기존 baseline 대비 유의미하게 우수한 성능을 보이며, 특히 long-horizon simulation에서의 reliability와 stability, scientific modeling에서의 accuracy를 향상시킴.
3. Asynchronous State Synchronization Protocol 구현: 실시간 web socket 기반의 지속적 연결을 통해 LLM과 시뮬레이션 환경 간의 continuous perception-action loop를 가능케 함.

How

• 문제를 partially observable environment 내 intent-driven sequential decision-making 과정으로 정식화하며, ⟨S, A, O, C, I⟩ 튜플로 정의함 (State Space, Action Space, Observation Space, Constraints, Intent).
• Observation Space를 기존의 discrete static text return이 아닌 continuous stream(ot = {vstdout, vstderr, Ψsys, Ωsim})으로 정의하여 runtime perception을 가능케 함.
• Strategic Planner가 추상적 과학적 의도를 계층적 실행 단계로 분해.
• Primitive Generator가 이 단계들을 MATLAB 특화 simulation primitive(예: ode45 같은 numerical solver, topological block manipulation)로 변환.
• Runtime Monitor가 runtime perception engine을 이용해 시뮬레이션 lifecycle을 감독하고, reflective decision-maker가 시뮬레이션 결과를 과학적 의도와 정렬시켜 자율 최적화를 수행.
• fast inner loop(Runtime Perception Engine 주도, 즉각적 Hot-Fix 트리거)와 slow outer loop(Reflective Decision Maker 주도, re-planning 유도)의 이중 루프 구조를 설계.
• MATLAB과 Simulink를 테스트베드로 삼아 EngDesign benchmark 등에서 실험 검증.

Originality

• passive tool utilization(code-as-action, API encapsulation)에서 active embodied agency로의 패러다임 전환을 최초로 제시함.
• 인간 인지 구조(prefrontal cortex, parietal cortex, amygdala)에 대응시킨 모듈형 agent 설계를 통해 embodiment 개념을 LLM 과학 에이전트에 체계적으로 적용함.
• Observation Space를 continuous stream으로 재정의하고 Asynchronous State Synchronization Protocol을 통해 실시간 perception-execution 통합을 구현한 기술적 참신성.
• fast inner loop(hot-fix)와 slow outer loop(re-planning)를 분리한 이중 시간 스케일 제어 구조.

Limitation & Further Study

• MATLAB/Simulink라는 특정 소프트웨어 환경에 한정되어 검증되었으며, 다른 과학 소프트웨어(예: COMSOL, ANSYS, Python 기반 시뮬레이션 등)로의 일반화 가능성에 대한 검증이 부족함.
• 발췌된 내용만으로는 Runtime Perception Engine의 anomaly 감지 기준이나 hot-fix 결정 메커니즘의 구체적 알고리즘적 세부사항, 그리고 web socket 기반 프로토콜의 실제 지연시간(latency)이나 확장성에 대한 정량적 분석이 명확하지 않음.
• 후속 연구로 다양한 과학 도메인 및 소프트웨어로의 확장, 그리고 더 복잡한 multi-agent 협업 시나리오로의 통합이 필요해 보임.

Evaluation

총평: 수동적 tool-use에서 능동적 embodied agency로의 전환이라는 명확한 문제의식과 이를 뒷받침하는 인지구조 기반 설계가 돋보이는 연구로, MATLAB 환경에서의 실증 결과도 인상적이나 타 도메인으로의 일반화 검증이 향후 과제로 남는다.