PICO: Reconstructing 3D People In Contact with Objects

Essence

Figure 1. We present PICO, a novel framework for joint human-object reconstruction in 3D. PICO includes PICO-db, a uniqu

단일 이미지에서 신체-물체 접촉 정보를 활용하여 3D 인간-물체 상호작용을 복원하는 PICO 프레임워크를 제시하며, 이를 위해 신체와 물체 모두에 밀집된 3D 접촉 주석이 있는 PICO-db 데이터셋을 수집했다.

Known: 기존 연구들은 알려진 물체 형태나 제한된 물체 클래스에서만 3D HOI를 다루었으며, DAMON 데이터셋은 신체 접촉 주석만 제공한다.
Gap: 현재 방법들은 임의의 물체 클래스에 대한 일반화가 어렵고, 신체와 물체 양쪽에서 3D 접촉을 함께 추론하는 데이터와 방법이 부족하다.
Why: 자연 이미지에서 다양한 물체와의 상호작용을 이해하는 것은 스마트홈, 혼합현실, 로봇 보조 등 실제 응용에 필수적이며, 이를 통해 HOI 이해를 현실로 확장할 수 있다.
Approach: 신체 접촉 패치를 물체에 투영하기 위해 vision foundation model(OpenShape)을 활용한 물체 검색과 최소 인력(2 클릭)을 조합하여 PICO-db를 구축하고, render-and-compare 최적화 기반의 PICO-fit 방법으로 접촉 정보를 통해 3D 신체-물체 메시를 반복적으로 적합시킨다.

Figure 2. PICO-db dataset annotations. Left to right: Color im-

PICO-db 데이터셋: 신체와 물체 양쪽의 3D 접촉 주석을 가진 첫 번째 자연 이미지 데이터셋으로, 이원 신체-물체 접촉 대응점을 포함한다.
일반화 능력: 이전에 다루지 못한 여러 물체 클래스(소파, 바나나, 프리스비 등)에 대해 작동하는 확장 가능한 방법을 제시한다.
정성적/정량적 개선: PHOSA, HDM, CONTHO 등 기존 방법 대비 지각 연구에서 훨씬 더 현실적인 복원 결과를 보인다.
최소 주석 비용: 2 클릭만으로 신체 접촉을 물체에 투영하는 효율적인 주석 방법을 개발했다.

Figure 4. Overview of PICO-fit, a novel method for fitting interacting 3D body and object meshes to an image. It initial

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 신체-물체 접촉이라는 새로운 관점에서 3D HOI 문제를 체계적으로 다루며, PICO-db라는 고가치 데이터셋과 확장 가능한 PICO-fit 방법을 통해 현실의 다양한 물체 클래스에 일반화되는 실용적인 해결책을 제시한다.