Teleoperation of Humanoid Robots: A Survey
์ ์: Kourosh Darvish, Luigi Penco, Joao Ramos, Rafael Cisneros, Jerry Pratt, Eiichi Yoshida, Serena Ivaldi, Daniele Pucci | ๋ ์ง: 2023-01-11 | URL: https://arxiv.org/abs/2301.04317 📄 PDF
Essence
Fig. 2: Schematic architecture for teleoperating a humanoid.
์ด ๋
ผ๋ฌธ์ ์ธ๊ฐํ ๋ก๋ด์ ์๊ฒฉ ์กฐ์ข
(teleoperation) ๋ถ์ผ์ ๋ํ ํฌ๊ด์ ์ธ ์๋ฒ ์ด๋ก, ์์คํ
์ํคํ
์ฒ, ๊ธฐ์ ๋ฐ ๋ฐฉ๋ฒ๋ก ์ ์ง์ , ์ค์ ์์ฉ ๋ถ์ผ๋ฅผ ์ข
ํฉ์ ์ผ๋ก ๋ถ์ํ๋ค.
Motivation
- Known: ์ง๋ ์์ญ ๋
๊ฐ humanoid robot ์๊ฒฉ ์กฐ์ข
๋ถ์ผ์์ ๋ง์ ์ง์ ์ด ์ด๋ฃจ์ด์ก์ผ๋ฉฐ, ๋์ญํ, ์ ์ด, ๋ชจ์
์์ฑ ๋ฑ ํน์ ์ธก๋ฉด์ ๋ํ ์ฐ๊ตฌ๋ค์ด ์กด์ฌํ๋ค.
- Gap: ์ต๊ทผ์ ๋ฐ์ ์ ๋ฐ์ํ ํฌ๊ด์ ์ด๊ณ ์ต์ ์ ์๋ฒ ์ด๊ฐ ๋ถ์กฑํ๋ฉฐ, humanoid robot teleoperation์ ์ฌ์ ํ ๋ฏธํด๊ฒฐ๋ ๋์ ๊ณผ์ ๋ก ๋งค๋
์๋ก์ด ์๋ฃจ์
์ด ์ ์๋๊ณ ์๋ค.
- Why: ์ธ๊ฐํ ๋ก๋ด์ ์ธ๊ฐ์ ์ธ์ง ๋ฅ๋ ฅ๊ณผ ์ ๋ฌธ ์ง์์ ๋ก๋ด์ ๋ฌผ๋ฆฌ์ ๋ฅ๋ ฅ๊ณผ ๊ฒฐํฉํ ์ ์์ด ์ฌํด ํ๊ฒฝ, ์ฐ์ฃผ, ํํ ์์ค ๋ฑ ์ํํ ์ง์ญ์์ ์ธ๊ฐ์ ๋์ฒดํ ์ ์๋ ์ด์์ ์ธ ํ๋ซํผ์ด๊ธฐ ๋๋ฌธ์ด๋ค.
- Approach: teleoperation system์ ์ผ๋ฐ์ ์ธ ์ํคํ
์ฒ๋ฅผ ์ ์ํ๊ณ ์ธํฐํ์ด์ค, ๋ชจ์
retargeting, ์ ์ด, assisted teleoperation, ํต์ ์ง์ฐ ๋ณด์, ์ฑ๋ฅ ํ๊ฐ, ์ค์ ์์ฉ ๋ถ์ผ ๋ฑ ์ฌ๋ฌ ํต์ฌ ๊ตฌ์ฑ ์์๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ๋ถ์ํ๋ค.
Achievement
Fig. 2: Schematic architecture for teleoperating a humanoid.
- Teleoperation System Architecture: ์ธ๊ฐ ์ธก์ (motion, reaction forces, physiological signals)์์ ๋ก๋ด ์ ์ด๊น์ง์ ์ ์ฒด ์์คํ
ํ๋ฆ์ ํตํฉ์ ์ผ๋ก ๋ชจ๋ธ๋ง
- Interface ๋ถ๋ฅ: ๋ค์ํ teleoperation ์ธํฐํ์ด์ค ๋ชจ๋ฌ๋ฆฌํฐ์ ์ ํ ๊ธฐ์ค์ ์์ธํ ๋ถ์
- Motion Retargeting: ์ธ๊ฐ์ ๋ชจ์
์ humanoid ๋ก๋ด์ ์ด๋ํ์ , ๋์ญํ์ ์ ์ฝ์ ๋ง๊ฒ ๋ณํํ๋ ๋ฐฉ๋ฒ๋ก ์ค๋ช
- Assisted Teleoperation: ๊ณต์ ์์จ์ฑ(shared autonomy) ๊ฐ๋
๊ณผ ๋ก๋ด์ ์์จ์ ์ง์์ด ์ฌ์ฉ์๋ฅผ ๋๋ ๋ฐฉ์ ๋
ผ์
- Communication Challenges: ์ ํ๋ ๋์ญํญ๊ณผ ํต์ ์ง์ฐ์ ๋ํ ๋ณด์ ๊ธฐ์ ์ ์
- Evaluation Metrics: teleoperation ์์คํ
์ ์ฑ๋ฅ์ ํ๊ฐํ๊ธฐ ์ํ ๋ค์ํ ๋ฉํธ๋ฆญ ์ ์
How
Fig. 2: Schematic architecture for teleoperating a humanoid.
- Human measurements์์ kinematic/dynamic ์ ๋ณด์ physiological ์ ํธ๋ฅผ ์์ง
- Motion retargeting์ ํตํด ์ธ๊ฐ์ ๋์์ ๋ก๋ด ์ ์ด ๋ช
๋ น์ผ๋ก ๋ณํ
- Haptic feedback, visual feedback, auditory feedback ๋ฑ ๋ค์ํ ๊ฐ๊ฐ ํผ๋๋ฐฑ์ ์ฌ์ฉ์์๊ฒ ์ ๊ณต
- Bilateral teleoperation ๊ธฐ๋ฒ์ผ๋ก ์๋ฐฉํฅ ์ ๋ณด ๊ตํ ๊ตฌํ
- Stability analysis์ control ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ๋์ ํ๊ฒฝ์์์ ์์ ์ฑ ๋ณด์ฅ
- Shared autonomy๋ฅผ ํตํด ์ฌ์ฉ์ ์ค๋ฅ ๋ณด์ ๋ฐ ์์ฌ๊ฒฐ์ ์ง์
Originality
- ์ต์ workshop (2021๋
๊ธฐ์ค)์์ ๋์ถ๋ ๋ด์ฉ์ ํฌํจํ ์ต๊ทผ ๋ํฅ ๋ฐ์์ผ๋ก ๊ณผ๊ฑฐ 10๋
์ ์ ์๋ฒ ์ด๋ฅผ ํฌ๊ฒ ์
๋ฐ์ดํธ
- Humanoid teleoperation์ multidisciplinary ํน์ฑ์ ์ข
ํฉ์ ์ผ๋ก ๋ค๋ฃจ์ด ์ญํ, ์ ์ด, ํต์ , ์ธ๊ฐ ์ฌ๋ฆฌ ๋ฑ์ ํตํฉ์ ์ผ๋ก ๋ถ์
- Teleoperation architecture๋ฅผ ๋์ํํ์ฌ ์ ์ฒด ์์คํ
์ ํ๋ฆ๊ณผ ๊ฐ ๊ตฌ์ฑ ์์ ๊ฐ์ ์ํธ์์ฉ์ ๋ช
ํํ ํํ
- Web-based interactive platform ์ ๊ณต์ผ๋ก ์๋ฒ ์ด๋ฅผ ๋์ ์ผ๋ก ์
๋ฐ์ดํธ ๊ฐ๋ฅํ ํํ๋ก ์ ์
Limitation & Further Study
- ๋
ผ๋ฌธ์ด ์๋ฒ ์ด ํํ์ด๋ฏ๋ก ์๋ก์ด ์๊ณ ๋ฆฌ์ฆ์ด๋ ๊ธฐ์ ์ ํ์ ์ ์ ์ํ์ง ๋ชปํจ
- ํน์ humanoid platform (์: iCub, HRP-4 ๋ฑ)์ ๋ํ ์ฌํ๋ ์ฌ๋ก ์ฐ๊ตฌ ๋ถ์กฑ
- Neural network ๊ธฐ๋ฐ์ end-to-end learning ์ ๊ทผ๋ฒ์ ๋ํ ๋
ผ์๊ฐ ์ ํ์ ์ผ๋ก ๋ณด์
- ์ค์ ๋ฐฐํฌ๋ ์์คํ
์ ์ฑ๋ฅ ๋น๊ต ๋ฐ์ดํฐ ๋ถ์ฌ
- ํ์ ์ฐ๊ตฌ: ๊ฐ ๊ธฐ์ ๊ตฌ์ฑ ์์์ ์ฑ๋ฅ์ ์ ๋์ ์ผ๋ก ๋น๊ตํ๋ ๋ฒค์น๋งํฌ ์ฐ๊ตฌ ํ์; AI ๊ธฐ๋ฐ ์์จ์ฑ๊ณผ์ ํตํฉ ์ฐ๊ตฌ; 5G/6G ํต์ ํ์ฉ์ ๋ํ ์ฌํ ์ฐ๊ตฌ
Evaluation
Novelty: 3/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
์ดํ: ์ด ์๋ฒ ์ด๋ humanoid robot teleoperation์ ํฌ๊ด์ ์ด๊ณ ์ต์ ์ ๊ฐ์๋ฅผ ์ ๊ณตํ๋ฉฐ, ๋ณต์กํ ์์คํ
์ ๋ช
ํํ ์ํคํ
์ฒ๋ก ์ ๋ฆฌํ๊ณ ๋ค์ํ ๊ธฐ์ ์ ๋์ ๊ณผ ์๋ฃจ์
์ ์ฒด๊ณ์ ์ผ๋ก ๋ถ์ํ๋ค. ํด๋น ๋ถ์ผ์ ์ฐ๊ตฌ์์ ์ค๋ฌด์๋ค์๊ฒ ๋งค์ฐ ์ ์ฉํ ์ฐธ๊ณ ์๋ฃ์ด์ง๋ง, ๊ตฌ์ฒด์ ์ธ ๊ธฐ์ ํ์ ๋ณด๋ค๋ ๊ธฐ์กด ์ฐ๊ตฌ์ ์ข
ํฉ๊ณผ ์ ๋ฆฌ์ ์ด์ ์ ๋๊ณ ์๋ค.
๐ง Audio Overview
์ด ๋
ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํ์บ์คํธํ ์ค๋์ค๋ก ์์ฑํฉ๋๋ค. (Gemini ยท ํค๋ ๋ธ๋ผ์ฐ์ ์๋ง ์ ์ฅ ยท ์์ฑ๋ณธ์ ์ด๋ฉ์ผ๋ก๋ ์ ์ก)
โธ ๊ณ ๊ธ: ๊ตฌ์ฑ ๋ฐฉํฅ(๋๋ณธ ์์ฑ ์ง์นจ) ์ง์ ์์