저자: Wenlong Huang, Fei Xia, Ted Xiao, Harris Chan, Jacky Liang, Pete Florence, Andy Zeng, Jonathan Tompson, Igor Mordatch, Yevgen Chebotar, Pierre Sermanet, Noah Brown, Tomas Jackson, Linda Luu, Sergey Levine, Karol Hausman, Brian Ichter | 날짜: 2022-07-12 | URL: https://arxiv.org/abs/2207.05608 📄 PDF
Essence
Figure 1: Inner Monologue enables grounded closed-loop feedback for robot planning with large language models
LLM을 로봇 제어에 활용할 때, 환경 피드백을 자연어로 주입하여 LLM이 '내적 독백(inner monologue)'을 형성하게 함으로써 폐루프 계획 및 추론을 가능하게 한다. 추가 학습 없이 프롬프팅만으로 복잡한 장기 조작 작업을 수행할 수 있음을 보여준다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: 본 논문은 LLM 기반 로봇 계획에 폐루프 피드백을 자연어로 통합하는 창의적이고 실용적인 접근을 제시하며, 추가 학습 없이도 복잡한 실제 작업을 수행 가능함을 다수의 실험으로 입증했다. 다만 perception 피드백의 품질 의존성과 LLM의 고비용·지연 문제가 추후 개선 과제이다.
같이 보면 좋은 논문
기반 연구Inner Monologue는 LLM의 자체 plan-refinement 대화 loop를 통해 DEPS의 plan+select 대화 구조를 확장한 대화 플래닝 방식을 보여준다.
다른 접근Inner Monologue는 상태 유지 대신 고차원 reasoning planning을 도입하여 embodied reasoning 문제를 상이하게 탐구합니다.
다른 접근Inner Monologue 논문은 LLM을 통한 상태 추론 대신 내적 독백(행동·계획 플로우 명시화) 방식을 사용하여 장기간 작업 수행 문제를 다르게 접근합니다.
다른 접근Inner Monologue(1434)는 LLM 기반 chain-of-thought 계획 프롬팅을 적용하며,
1614의 신경-기호적 탐색과는 다른 reasoning+프롬프트 기반 내비게이션 방법을 보여준다.
다른 접근CoT-VLA는 Vision-Language-Action 프레임에서 chain-of-thought 추론을 강화하는 접근법이므로, inner monologue 방식과 상호보완적으로 읽을 수 있습니다.
후속 연구Inner Monologue는 시각적 내적 계획 생성/자기관찰 구조를 도입하여, CoT-VLA의 chain-of-thought 기반 행동 생성의 이론적 바탕을 제공한다.
다른 접근1434는 언어 모델 기반의 planning 및 reasoning inner monologue를 통해 embodied agent의 추론 능력을 강화하는 방법을 Embodied-Reasoner와는 다른 방식으로 제시합니다.
다른 접근Inner Monologue 논문은 explicit reasoning 단계 중간의 내적 계획과 action generation을 분리하여, adaptive reasoning과 acting의 다른 실현 사례를 보여준다.
다른 접근Inner Monologue는 언어 기반 로봇 모델에서 자체적으로 행동과 플랜 오류를 모니터링하는 reasoning 기반 패러다임을 택하므로, CorrectNav의 self-correction flywheel과 비교해봄으로써 각기 다른 self-correction 전략의 장단점을 알 수 있습니다.
다른 접근Inner Monologue는 LLM 기반 계획-추론 루프를 사용하여 행동 계획과 reasoning을 강조하므로, MCTS 중심의 VLA-Reasoner와 대조된다.
후속 연구Instruct2Act 논문은 내적 독백 기반 reasoning loop을 API 활용 및 실제 파이썬 코드 생성을 통해 구체화한다.
후속 연구1586은 LLM을 활용한 맞춤형 로봇 플래닝을 다루어,
1434에서 제시된 LLM 중심의 embodied reasoning 프롬프팅 기법의 실질적 가치를 실제 서비스에 확장한다.
후속 연구내적 독백(inner monologue) 방식은 LLM 기반 플래닝·추론 오차를 인지하고 재계획하는 CoPAL의 메커니즘에 이론적 근거를 제공한다.
응용 사례CoPAL 논문에서는 inner monologue 아이디어를 실제 LLM 기반 로봇 플래닝 재계획 구조에 적용한다.
후속 연구ThinkBot: Embodied Instruction Following with Thought Chain Reasoning은 지속적인 코그니션과 체인 추론으로 inner monologue 방식을 좀 더 발전시킵니다.
후속 연구Inner Monologue: Embodied Reasoning through Planning with Language는 일반적 언어기반 행동/계획 내적 추론 프레임워크로, 다단계 추론식 정책 설계의 이론적 토대를 제공한다.
후속 연구1434의 Inner Monologue는 체계적 계획이 필요한 Embodied Reasoning을 다루고 있어, DexGraspVLA의 VLA 기반 고수준 계획 모듈 설계에 개념적 기반을 제공한다.
후속 연구Inner Monologue는 언어 기반 계획 수립을 통한 에이전트 의사결정 방식을 논의하여 Hi Robot의 계층적 프롬프트 해석과 연관지어 볼 수 있습니다.
후속 연구Inner Monologue 연구는 플래닝과 검증 기반의 생성적 reasoning 방법을 제시하여, 샘플링-검증 구조의 원리를 RoboMonkey보다 근본적으로 논의합니다.
후속 연구Inner Monologue는 chain-of-thought 및 planning 기반 embodied reasoning을 다루어 ThinkAct의 추론-행동 연결 구조와 연관됨.
후속 연구Inner Monologue는 언어 Chain-of-Thought 기반 embodied reasoning의 모델로, TrackVLA++의 공간적 reasoning 및 memory와 접목 가능하다.
