LLM3:Large Language Model-based Task and Motion Planning with Motion Failure Reasoning

Motivation

• Known: 기존 TAMP 방식은 기호적 작업 계획과 연속 모션 계획 사이의 인터페이스를 위해 수작업으로 설계된 도메인 특화 모듈에 의존한다. 최근 LLM은 추론과 계획 능력에서 강력한 성능을 보여주고 있다.
• Gap: 기존 TAMP의 도메인 특화 모듈은 노동집약적이며 새로운 작업에 대한 일반화가 제한된다. LLM의 추론 능력을 TAMP의 핵심 컴포넌트로 통합하되 모션 계획 실패를 체계적으로 추론하는 접근이 부족하다.
• Why: 자동화된 로봇 조작을 위해서는 복잡한 환경에서 장시간 작업 목표를 달성하면서 동시에 기하학적 제약을 만족하는 실행 가능한 모션을 생성해야 하므로 효율적이고 일반화 가능한 TAMP 방식이 필수적이다.
• Approach: pre-trained LLM을 도메인 독립적 task planner, informed action parameter sampler, 그리고 motion failure reasoner로 활용하며, 모션 계획 피드백(충돌, 도달 불가능)을 체계적으로 분류하여 LLM이 제안을 반복적으로 개선하도록 prompting한다.

Achievement

Fig. 2: System diagram of the proposed LLM3 framework. (a) We show an example of utilizing a pre-trained LLM for reasoni

• 도메인 독립적 TAMP 프레임워크: pre-trained LLM을 기반으로 수작업으로 설계된 모듈 없이 기호적 계획과 연속 매개변수 선택을 통합
• 모션 실패 추론 메커니즘: collision과 unreachability 두 가지 주요 실패 모드를 체계화하여 targeted refinement 실현
• 효율적 파라미터 샘플링: LLM 기반 informed sampler가 random sampler 대비 현저히 향상된 샘플 효율성 입증
• 실증적 검증: 상자 포장 도메인에서 정량적 평가와 ablation study를 통해 모션 피드백 추론의 중요성 확인, 실제 로봇에서의 적용 가능성 입증

How

Fig. 2: System diagram of the proposed LLM3 framework. (a) We show an example of utilizing a pre-trained LLM for reasoni

• pre-trained LLM에 자연언어로 환경 상태, 작업 목표, 이전 실패를 포함한 prompt 제공
• LLM이 기호적 action sequence와 연속 action parameters(예: 객체 배치 위치)를 동시에 생성
• 생성된 action을 motion planner에 전달하여 실행 가능성 검증
• motion planner의 실패 피드백(collision 또는 unreachability)을 분류하여 structured prompt로 LLM에 반환
• LLM이 피드백을 기반으로 action sequence와 parameters를 반복적으로 개선
• 목표 달성 또는 성공 threshold 도달 시 계획 완료

Originality

• LLM을 TAMP의 core component로 활용하는 첫 번째 holistic framework 제시
• motion planner의 피드백을 체계적으로 분류하고 구조화하여 LLM의 추론 기반 개선을 가능하게 함
• 도메인 특화 PDDL 파일이나 수작업 설계 모듈 없이 LLM의 implicit knowledge를 활용하는 범용적 접근
• motion failure reasoning을 iterative refinement 루프에 통합하여 planning efficiency 향상

Limitation & Further Study

• 평가가 단일 도메인(box-packing task)에 국한되어 있으며 다양한 로봇 작업에 대한 일반화 능력 미검증
• real-robot 실험이 qualitative에 그쳐 정량적 평가 부족
• LLM의 성능이 특정 모델 아키텍처와 training data에 의존하므로 모델 의존성 문제 존재
• motion planning feedback의 분류가 collision과 unreachability로 제한되어 다른 형태의 실패(예: 안정성, 힘 제약)는 미처리
• 후속 연구로 다중 도메인에 대한 광범위한 평가, 더 정교한 failure mode 분류, 그리고 실제 환경의 불확실성 처리 필요

Evaluation

총평: LLM3는 domain-independent interface를 통해 TAMP의 오래된 문제를 창의적으로 해결하며, motion failure reasoning을 LLM 기반 planning에 통합한 점에서 새로운 방향을 제시한다. 다만 평가의 범위가 제한적이고 real-robot 실험의 깊이가 더 필요하지만, 앞으로의 로봇 자율화에 중요한 기초를 제공한다.