BuildArena: A Physics-Aligned Interactive Benchmark of LLMs for Engineering Construction

Motivation

• Known: LLM은 수학적 추론, 코드 생성, 도구 사용, 계획 수립 등에서 강력한 능력을 보여왔으며, PlanBench, PHYRE, VOYAGER, Embodied Agent Interface 등 다양한 벤치마크가 존재해 이러한 능력을 부분적으로 평가해왔다.
• Gap: 기존 벤치마크들은 수학/프로그래밍 능력을 텍스트나 정적 환경에서만 평가하거나, 물리 이해에 집중해 다단계 건설 과정을 다루지 않으며, CAD/3D 생성 연구는 생성 결과가 실제 물리 조건 하에서 실행 가능한 조립체로 이어지는지 검증하지 않아, 자연어 지시를 물리적으로 타당한 조립체로 변환하는 LLM 능력을 평가할 프레임워크가 부재하다.
• Why: 공학적 건설 자동화는 자동차, 교통, 토목 인프라 등 다양한 실세계 응용에서 효율성과 생산성을 크게 향상시킬 수 있는 중요한 AI for Engineering 분야이며, LLM의 실제 공학 건설 역량을 검증하는 것은 이러한 자동화 시스템의 신뢰성 있는 배치를 위한 필수 전제조건이다.
• Approach: BuildArena는 task definition, LLM-based construction, simulation-based evaluation의 3단계 파이프라인으로 구성되며, 확장 가능한 난이도 기반 task design 전략과 자체 개발한 3D Spatial Geometric Computation Library를 통해 LLM의 언어 기반 물리적 구조 건설 능력을 평가한다.

Achievement

Figure 1. Examples of BuildArena’s construction results by

1. 최초의 physics-aligned interactive benchmark 제안: 자연어 지시로 3D 구조물을 건설하고 물리적으로 제약된 환경 내에서 성능을 평가하는 첫 벤치마크(동시대 연구 BesiegeField 제외)를 제시했다.
2. 확장 가능한 task design 전략 개발: Quantification, Robustness, Magnitude, Compositionality, Precision, Ambiguity의 6개 난이도 차원을 정의하고, 이를 기반으로 Support(정적 구조 안정성), Transport(동적 수평 이동), Lift(동적 수직 이동)의 3개 task category와 각 3단계 난이도(Lv.1~3)를 설계했다.
3. 3D Spatial Geometric Computation Library 구축: 폐쇄형 소스인 Besiege 시뮬레이터의 기하 연산 기능을 재현한 오픈소스 라이브러리를 개발하여, 반복적 건설 과정에서 LLM의 언어 지시를 정확히 실행할 수 있도록 지원했다.
4. 9개 최신 LLM 및 3개 추가 오픈웨이트 모델 평가: 다양한 frontier LLM들에 대해 언어 기반, 물리 기반 건설 자동화 역량을 종합적으로 비교 분석했다.

How

Figure 4. Details of the construction procedure in Figure 2. Our designed workflow (bottom row) contains five collaborat

• 6개 공학적 난이도 차원(Quantification, Robustness, Magnitude, Compositionality, Precision, Ambiguity)을 정의하여 task 설계의 원칙적 기반을 마련
• Support, Transport, Lift 3개 task category에 대해 각각 Easy(Lv.1), Medium(Lv.2), Hard(Lv.3) 난이도를 설정하고, 난이도가 올라갈수록 세부 지시를 줄이고 구조 규모·모듈 수·정밀도 요구를 증가시킴
• Transport는 Maximum Transport Distance, Support는 Maximum Load Weight를 성능 지표로 사용하고, 임계값 기반으로 성공 여부를 판정
• LLM agentic workflow를 통해 자연어 지시로부터 구조물을 반복적으로 구성하며, 3D Spatial Geometric Computation Library로 기하학적 피드백을 제공해 Besiege 시뮬레이터에서 물리 검증
• Task definition, LLM-based construction, simulation-based evaluation의 각 컴포넌트를 사용자가 커스터마이징 가능하도록 설계

Originality

• 기존 벤치마크(PlanBench, PlanQA, PHYRE, VOYAGER, Embodied Agent Interface)와 달리 spatial reasoning, 3D construction, construction-aimed planning, physical simulator, interactive environment를 모두 통합한 최초의 벤치마크
• 폐쇄형 Besiege 시뮬레이터의 기하 연산 로직을 독자적으로 재현한 오픈소스 3D Spatial Geometric Computation Library 개발이라는 기술적 독창성
• 난이도 차원을 공학 실무에서 도출하여 정량화하고, 이를 radar chart 형태로 시각화해 task별 난이도 프로파일을 체계적으로 제시한 설계 전략

Limitation & Further Study

• 논문 발췌에서는 task category가 Support, Transport, Lift 3개로 제한되어 있어, 실제 공학 건설의 다양성(예: 회전, 변형, 복합 하중 등)을 충분히 포괄하는지 추가 검증이 필요함
• Besiege 시뮬레이터 기반이므로, 실제 물리 세계나 산업용 CAD/시뮬레이션 도구와의 fidelity 격차가 존재할 가능성이 있음
• 평가 대상 LLM이 9개 frontier 모델과 3개 오픈웨이트 모델로 제한적이며, 모델별 성능 차이의 원인(예: tool-use 능력, 공간 추론 능력)에 대한 심층 분석이 발췌 부분에서는 부족함
• 후속 연구로는 task category 확장, 실제 로봇 조립 파이프라인과의 연계, 더 다양한 물리 엔진과의 호환성 검증 등이 필요함

Evaluation

총평: LLM의 물리 기반 공학 건설 능력이라는 새로운 평가 축을 개척한 의미 있는 벤치마크로, 체계적인 난이도 설계와 오픈소스 도구 제공이라는 실질적 기여가 돋보이나, task 다양성과 시뮬레이터 fidelity에 대한 추가 검증이 향후 필요하다.