GraspSense: Physically Grounded Grasp and Grip Planning for a Dexterous Robotic Hand via Language-Guided Perception and Force Maps

Motivation

• Known: 기존 파지 계획 연구는 DexGraspNet, UniDexGrasp, AnyDexGrasp 등 주로 기하학적, 운동학적 특성(안정성, 도달성, 충돌 회피)에 초점을 맞추고 있으며, force-aware 조작은 일반적인 임피던스 제어 파라미터에 의존한다. 언어 기반 로봇 조작을 위해 LLM을 활용하는 추세가 있고, SAM, YOLO-World 등의 perception 기술이 발전하고 있다.
• Gap: 기존 파지 계획 시스템은 물체 표면을 기계적으로 균일하다고 가정하며, 파지 선택과 그립 력 조절을 독립적인 부분 문제로 처리한다. 따라서 기하학적으로 동등한 여러 파지 후보 중에서 물체 구조의 기계적 허용 가능성을 고려하여 선택하거나, 접촉점의 로컬 특성에 맞게 손가락별 강성을 조절하는 방식이 부재한다.
• Why: 종이, 플라스틱, 유리 등 다양한 재질의 물체를 다루는 로봇 조작에서 구조적으로 약한 영역에 접촉하면 기하학적으로 완벽한 파지에도 불구하고 물체를 손상시킬 수 있다. 따라서 물체의 공간적으로 비균일한 기계적 강성을 파지 선택과 력 제어에 반영하는 것이 실제 손재주 조작의 신뢰성과 안전성을 크게 향상시킬 수 있다.
• Approach: 파이프라인은 다섯 단계로 구성된다: (1) Qwen을 이용한 자연어 명령 파싱으로 물체 종류, 행동 유형, 상호작용 모드 추출, (2) YOLO-World와 SAM을 이용한 객체 탐지 및 세분화, SAM3D를 통한 3D 복원, (3) 로컬 벽 두께의 물리 기반 기하학적 근사를 이용한 force map 구성으로 각 표면 영역의 기계적 허용 가능 접촉 력 계산, (4) 기하학적 유효성과 작업 목표 일관성 필터링 후 force map 기반 재순위 매김으로 파지 선택, (5) Isaac Sim에서 impedance 제어 기반 파지 실행.

Achievement

Fig. 1.

Force map 구성 모듈: 로컬 벽 두께의 물리 기반 기하학적 근사를 통해 3D 물체 모델의 표면 각 위치에서 기계적으로 안전한 접촉 력의 공간 분포 추정. 물리 기반 파지 선택 기준: 기존 다중 기준 순위 매김(안정성, 도달성, 충돌 회피)에 force map 기반 재순위 매김 단계 추가로 기하학적으로 동등한 후보 중 기계적 허용 가능성이 높은 파지 선택. 임피던스 기반 그립 실행 전략: 각 접촉점의 로컬 허용 가능 력에 따라 손가락별 강성을 스케일링하는 공간 비균일 그립 전략으로 물체 구조 손상 방지 및 신뢰성 있는 파지 유지. 통합 파이프라인: 자연어 명령에서 파지 실행까지 Isaac Sim에서 구현 및 검증.

How

Fig. 2.

• Qwen LLM을 이용한 자연어 파싱으로 작업 컨텍스트 추출
• YOLO-World 객체 탐지와 SAM 세분화, SAM3D를 통한 통합 perception 파이프라인
• 로컬 벽 두께 기반 force map 구성으로 공간 분포 기계적 허용 가능 력 계산
• GRaCE 프레임워크 확장으로 force-map-aware 재순위 매김 기준 추가
• Impedance 제어를 통한 손가락별 적응형 강성 조절
• Isaac Sim 시뮬레이션 환경에서의 파지 실행 및 검증

Originality

• Force map을 파지 선택과 그립 실행의 1급 요소로 도입하여 물체 구조의 기계적 특성을 명시적으로 고려하는 새로운 접근
• 파지 선택과 그립 력 조절을 결합하는 joint planning 문제로 재정의
• 구조 해석을 기반으로 한 로컬 impedance 제어로 공간 비균일 그립 전략 구현
• 자연어 명령부터 물리 기반 파지 실행까지 end-to-end 통합 파이프라인

Limitation & Further Study

• 평가가 종이, 플라스틱, 유리 컵/고블릿 같은 제한된 객체 범주로 국한되어 있으며, 더 복잡한 형태나 재질의 물체에 대한 일반화 가능성 미검증. - Force map 구성에서 로컬 벽 두께 근사의 정확성과 그 오차가 파지 성능에 미치는 영향에 대한 체계적 분석 부재. - 실제 물리적 로봇 하드웨어 검증 없이 Isaac Sim 시뮬레이션 환경에서만 검증. - Qwen LLM의 파싱 오류 시나리오나 잘못된 물체 인식에 대한 강건성 평가 부족. - 후속 연구 방향으로 더 광범위한 객체 범주에 대한 확장, 실제 로봇 플랫폼에서의 실험, force map 구성의 정확성 개선 필요.

Evaluation

총평: 본 논문은 손재주 로봇 파지 계획에 물체의 구조적 기계적 특성을 명시적으로 통합하는 중요한 기여를 제시한다. Force map 기반 파지 선택과 적응형 임피던스 제어를 통해 기존 기하학적 파지 계획의 한계를 극복하는 물리 기반 접근법이 창의적이고 기술적으로 건실하다. 다만 실제 로봇 플랫폼에서의 검증과 더 광범위한 객체 범주에 대한 평가가 필요하며, force map 구성의 정확성 분석이 강화되어야 한다.