LabBuilder: Protocol-Grounded 3D Layout Generation for Interactable and Safe Laboratory

Motivation

• Known: 기존 3D scene generation 연구는 3D-FRONT 등 household indoor 환경을 대상으로 하며 LLM planner와 text-to-3D pipeline을 활용해 visual plausibility와 geometric consistency를 최적화하는 방향으로 발전해왔다. 또한 XDL/Chemputer, χDL, AutoDSL 등은 chemical protocol을 디지털화·구조화·실행하는 데 초점을 맞춰왔다.
• Gap: 기존 scene generation 방법들은 generic household-style description을 다루도록 설계되어 equipment-specific operational constraint나 reagent의 chemical property 같은 복잡한 실험 protocol을 인코딩하지 못하며, geometric validity와 visual plausibility만 생성 시점에 강제하고 protocol grounding과 agent reachability는 post hoc evaluation으로 미룬다. 이는 실험실 환경에서 필수적인 layout-level 안전성 및 실행 가능성을 근본적으로 결여시킨다.
• Why: 자동화된 실험실(automated laboratory)은 반복적 실험 절차에서 인간 개입을 최소화하여 과학적 발견을 가속할 잠재력이 있지만, 안전하고 실행 가능한 환경 설계가 병목이 되고 있어 이를 시뮬레이터 기반으로 확장 가능하고 비용 효율적으로 해결하는 것이 중요하다.
• Approach: LabBuilder는 protocol-grounded framework로서 free-form 실험 요청을 asset-grounded, safety-aware laboratory layout으로 컴파일하며, LabForge가 protocol을 구조화하고 LabGen이 계층적(room-level zoning, desktop-level organization) 방식으로 layout을 합성한 뒤 multi-objective reward 기반 반복 최적화와 navigation-aware refinement를 수행한다.

Achievement

1. Meta-laboratory dataset 구축: asset knowledge base와 chemistry knowledge base로 구성된 scalable meta-laboratory dataset을 제시했으며, LabForge 자동 annotation engine을 통해 새로운 asset과 실험을 지속적으로 확장할 수 있다.
2. LabGen의 우수한 layout 생성 성능: geometric, chemical-safety, reachability 제약 하에서 realistic하고 protocol-grounded된 laboratory layout을 생성하며, 기존 state-of-the-art 방법(예: SceneWeaver, Holodeck)을 큰 폭으로 능가함을 실험적으로 입증했다.
3. LabTouchstone 벤치마크 구축: geometric compliance, feasibility, chemical safety, semantic plausibility 등 다차원에서 layout과 navigation을 동시에 평가하는 종합 metric suite를 확립했다.

How

• LabForge: 이질적 입력으로부터 asset knowledge base(기하/의미 속성)와 chemical knowledge base(가연성, 폭발성, 휘발성/독성 등)를 구축하고, 자연어 명세를 구조화된 protocol로 번역
• LabGen: protocol을 조건으로 room-level zoning과 desktop-level organization으로 scene synthesis를 분해하는 hierarchical approach 채택
• Multi-objective reward 기반 최적화: geometric validity와 protocol-specific chemical safety(예: flammable reagent와 heat source 간 근접성)를 반영한 iterative, constraint-aware optimization strategy 적용 (FastRepair 등)
• Navigation-aware refinement: 자율 로봇 에이전트(autonomous robotic agent)를 위한 reachability 보장 전략 통합
• LabTouchstone 평가: protocol-derived point-goal navigation assessment를 포함해 layout과 navigation policy를 동시에 검증

Originality

• Household 환경 중심이던 기존 3D scene generation을 실험실이라는 domain-specific, safety-critical 영역으로 확장하며, protocol grounding을 생성 시점(design time)에 내재화한 최초의 시도
• Geometric validity뿐 아니라 chemical safety와 agent reachability를 동시에 고려하는 multi-objective 최적화 전략을 layout 생성 루프에 통합
• Chemputer/XDL/AutoDSL 같은 protocol representation 연구와 differentiate되게, protocol semantics를 3D spatial layout으로 grounding하는 complementary layer를 제시
• 단일 layout 품질 평가를 넘어 navigation policy까지 포함하는 통합 benchmark(LabTouchstone) 제안

Limitation & Further Study

• 실험이 30개 protocol 수준(Table 1 기준)으로 제한적이어서 다양한 실험실 도메인(생물학, 물리학 등)으로의 일반화 가능성 검증이 부족할 수 있음
• Chemical safety 모델링이 알려진 지식 베이스에 의존하므로 novel reagent나 미등록 화학 반응에 대한 대응력이 제한적일 수 있음
• Navigation feasibility 평가가 특정 navigation policy에 국한되어 있어 실제 로봇 플랫폼과의 sim-to-real gap 검증이 추가로 필요함
• 후속 연구로 더 큰 규모의 실제 실험실 데이터 기반 검증과 dynamic/multi-agent 상호작용을 포함한 확장이 요구됨

Evaluation

총평: 실험실이라는 안전-필수적 domain에 대해 protocol grounding을 layout 생성 과정에 내재화한 체계적이고 실용적인 프레임워크로, 3D scene generation 연구의 응용 범위를 의미 있게 확장한 기여작이다.