Teleoperation of Humanoid Robots: A Survey
๐ง Audio Overview ์์ฑ
์ ์ : Kourosh Darvish, Luigi Penco, Joao Ramos, Rafael Cisneros, Jerry Pratt, Eiichi Yoshida, Serena Ivaldi, Daniele Pucci | ๋ ์ง : 2023-01-11 | URL : https://arxiv.org/abs/2301.04317 📄 PDF
Essence
Fig. 2: Schematic architecture for teleoperating a humanoid.
๋ณธ ๋
ผ๋ฌธ์ humanoid robot teleoperation์ ๋ํ ํฌ๊ด์ ์ธ survey๋ก, ์๊ฒฉ ํ๊ฒฝ์์ ์ธ๊ฐ์ ์ธ์ง ๋ฅ๋ ฅ๊ณผ humanoid robot์ ๋ฌผ๋ฆฌ์ ๋ฅ๋ ฅ์ ํตํฉํ๋ teleoperation ์์คํ
์ ์ํคํ
์ฒ, ๊ธฐ์ ์ ์กฐํ, ๊ทธ๋ฆฌ๊ณ ์์ฉ ๋ถ์ผ๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ๋ถ์ํ๋ค. Teleoperation system์ ์ ์ฒด ํ์ดํ๋ผ์ธ๊ณผ ๊ฐ ๊ตฌ์ฑ ์์๋ฅผ ์์ธํ ์ ์ํ๋ฉฐ, ํต์ ์ง์ฐ, ์ ์ด, retargeting, ์ธ๊ฐ-๋ก๋ด ์ํธ์์ฉ ๋ฑ ๋ค์ธต์ ๋์ ๊ณผ์ ๋ค์ ๋ค๋ฃฌ๋ค.
Motivation
Known : Humanoid robot teleoperation์ ์๊ฒฉ ํ๊ฒฝ์์ ์ธ๊ฐ ์์
์๋ฅผ ๋์ฒดํ๊ธฐ ์ํ ํต์ฌ ๊ธฐ์ ๋ก, DARPA Robotics Challenge, ANA Avatar XPRIZE ๋ฑ ๋ค์ํ ๊ตญ์ ํ๋ก์ ํธ๋ฅผ ํตํด ์ค์ ํ๊ฒฝ์์์ ์์ฉ์ด ์๋๋์ด ์๋ค. ๊ธฐ์กด์ humanoid robotics, robot teleoperation interface design, bilateral teleoperation ๋ฑ ๊ฐ๋ณ ๋ถ์ผ์ ์ฐ๊ตฌ๋ค์ด ์์์ผ๋, humanoid robot teleoperation์ ์ข
ํฉ์ ์ผ๋ก ๋ค๋ฃฌ ์ต์ survey๋ ๋ถ์กฑํ ์ํ์๋ค.
Gap : ๊ธฐ์กด ์ฐ๊ตฌ๋ค์ด humanoid robotics, teleoperation interface, bilateral control ๋ฑ์ ๊ฐ๋ณ์ ์ผ๋ก ๋ค๋ฃจ์์ผ๋, humanoid robot์ ๊ณ ๋์ redundancy, nonlinear and hybrid dynamics, ์ค์๊ฐ ํต์ ์ ์ฝ, ๊ทธ๋ฆฌ๊ณ ์ฌํ์ ์ํธ์์ฉ ์๊ตฌ์ฌํญ์ ํตํฉ์ ์ผ๋ก ๊ณ ๋ คํ teleoperation ์์คํ
์ ์ข
ํฉ์ ์ค๋ช
๊ณผ ์ต์ ๊ธฐ์ ๋ํฅ์ ์ฒด๊ณ์ ์ ๋ฆฌ๊ฐ ํ์ํ๋ค.
Why : Humanoid robot teleoperation์ ์์๋ ฅ ์ฌํด ๋์, ์ฐ์ฃผ ํ์ฌ, ์ํ ํ๊ฒฝ ์์
, ์๋ฃ ์๋น์ค ๋ฑ ๋ค์ํ ๊ณ ์ํ ์์ฉ์์ ์ธ๊ฐ์ ์์ ์ ๋ณด์ฅํ๋ฉด์ ๋ณต์กํ ์์
์ ์ํํ ์ ์๋ ์ ์ผํ ์๋ฃจ์
์ด๋ค. ์ธ๊ฐํ ๋ก๋ด์ ๋์ redundancy์ ๋น์ ํ ๋์ญํ, ์ ํ๋ ํต์ ํ๊ฒฝ์์์ ์๊ฒฉ ์ ์ด๋ผ๋ ๋
ํนํ ๋์ ๊ณผ์ ๋ค์ ์ฒด๊ณ์ ์ผ๋ก ์ ๋ฆฌํ๋ ๊ฒ์ด ์ค๋ฌด ์ ์ฉ์ ์ํด ํ์์ ์ด๋ค.
Approach : ๋
ผ๋ฌธ์ teleoperation ์์คํ
์ ์ผ๋ฐ์ ์ํคํ
์ฒ(Fig. 2)๋ฅผ ์ ์ํ๊ณ , ์ธ๊ฐ์ ๋์ ์ธก์ ๋ถํฐ ๋ก๋ด ์ ์ด, retargeting, feedback๊น์ง์ ์ ์ฒด ํ์ดํ๋ผ์ธ์ ์ค๋ช
ํ๋ค. Human-Machine Interface, robot control and planner, ํต์ ์ฑ๋, retargeting mechanism, robot sensory input ๋ฑ ๊ฐ ๊ตฌ์ฑ ์์์ ์ญํ ๊ณผ ์ํธ์์ฉ์ ์์ธํ ๋ถ์ํ๋ค.
Achievement
Fig. 2: Schematic architecture for teleoperating a humanoid.
๋
ผ๋ฌธ์ ์ฃผ์ ์ฑ๊ณผ:
ํฌ๊ด์ ์์คํ
์ํคํ
์ฒ ์ ์ : Humanoid robot teleoperation์ ์ผ๋ฐ์ ๊ตฌ์กฐ๋ฅผ ๋ช
ํํ๊ฒ ์ ์ํ์ฌ ๋ค์ํ ์์คํ
์ค๊ณ์ ๊ธฐ์ด ์ ๊ณต
๋ค์ธต์ ๋์ ๊ณผ์ ๋ถ์ : Dynamics, control, communication delays, human psychophysiology, social interaction ๋ฑ์ ํตํฉ์ ์ผ๋ก ๋ถ์
์ต์ ๊ธฐ์ ๋ํฅ ์ง๋์ฑ : DARPA Robotics Challenge, ANA Avatar XPRIZE, ISS์ METERON/Kontur-2 ํ๋ก์ ํธ ๋ฑ ์ค์ ์ ์ฉ ์ฌ๋ก ํฌํจ
ํ์ ๊ฐ ์ ๊ทผ์ ํ์์ฑ ๊ฐ์กฐ : Humanoid robot teleoperation์ด dynamics, control, communication, human factors ๋ฑ ๋ค์ํ ๋ถ์ผ์ ํตํฉ์ ์๊ตฌํจ์ ๋ช
ํํ
How
Fig. 2: Schematic architecture for teleoperating a humanoid.
Teleoperation system์ ์ผ๋ฐ์ ์ํคํ
์ฒ๋ฅผ schematic diagram (Fig. 2)์ผ๋ก ์๊ฐํํ์ฌ ๊ฐ ๊ตฌ์ฑ ์์ ๊ฐ์ ์ ๋ณด ํ๋ฆ๊ณผ ํผ๋๋ฐฑ ๋ฉ์ปค๋์ฆ์ ๋ช
ํํ ํํ
Human measurements (motion, forces/torques, physiological signals)์ robot sensory inputs (motion, tactile, visual, audio ๋ฑ)๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ๋ถ๋ฅ
Retargeting mechanism์ ํตํ ์ธ๊ฐ ๋์์ ๋ก๋ด ๋์ ๋ณํ ํ๋ก์ธ์ค๋ฅผ ๋์ํ
Feedback pathway๋ฅผ visual, audial, vibrotactile, force/torque, thermal ๋ฑ์ผ๋ก ๊ตฌ๋ถํ์ฌ ์ ์
๋
ผ๋ฌธ ๊ตฌ์กฐ๋ฅผ ํตํด teleoperation devices (Sec. II), modeling and control (Sec. III), assisted teleoperation (Sec. IV), communication issues (Sec. V), evaluation metrics (Sec. VI), applications (Sec. VII)๋ก ์ฒด๊ณ์ ์ผ๋ก ์ ๊ฐ
Originality
์๋ก์ด ์ํคํ
์ฒ ํ๋ ์์ํฌ : Humanoid robot teleoperation์ ํตํฉ์ ์ผ๋ก ๋ค๋ฃจ๋ ์์คํ
์ํคํ
์ฒ๋ฅผ ์ฒ์์ผ๋ก ์ฒด๊ณํํ์ฌ ์ ์
ํ์ ๊ฐ ํตํฉ ๊ด์ : ๊ธฐ์กด์ robotics, control theory ์ค์ฌ ์ ๊ทผ์์ ๋ฒ์ด๋ human psychophysiology, social interaction, communication theory๋ฅผ ํฌํจํ ์ข
ํฉ์ ๋ถ์
์ต์ ํ๋ก์ ํธ์ ์ฌ๋ก ํตํฉ : DARPA Robotics Challenge ์ดํ์ ์ต์ ๊ธฐ์ ๋ํฅ๊ณผ ISS์ ์ฐ์ฃผ teleoperation ํ๋ก์ ํธ ๋ฑ์ ํฌํจํ์ฌ ํ์ฌ ์ํฉ์ ๋ฐ์
Web-based version ์ ๊ณต : ๋ํํ ์น ๊ธฐ๋ฐ ์๋ฃ(https://humanoid-teleoperation.github.io/)๋ฅผ ์ ๊ณตํ์ฌ survey์ ์๋ก์ด ํํ์ ํ์ ์๋ฃ ํ์ฅ
Limitation & Further Study
์ด๋ก ์ ๊น์ด ์ ํ : Survey์ ํน์ฑ์ ๊ฐ ๊ฐ๋ณ ๊ธฐ์ (dynamics modeling, control algorithms, communication protocols)์ ๋ํ ์์ธํ ์ด๋ก ์ ๋ถ์์ด ์ ํ์
์คํ์ ๊ฒ์ฆ ๋ถ์กฑ : Teleoperation system์ ์ฑ๋ฅ ๋น๊ต๋ ์๋ก ๋ค๋ฅธ ์ค๊ณ ์ ํ์ง์ trade-off์ ๋ํ ์ ๋์ ๋ฐ์ดํฐ ๋ถ์กฑ
ํต์ ์ง์ฐ ์ํฅ ๋ถ์ ๋ฏธํก : Section V์์ communication issues๋ฅผ ๋ค๋ฃจ์ง๋ง, ์ค์ ์ง์ฐ ์๊ฐ์ ๋ฐ๋ฅธ ์ฑ๋ฅ ์ ํ ๋ฉ์ปค๋์ฆ๊ณผ ํด๊ฒฐ์ฑ
์ ๊ตฌ์ฒด์ ๋ถ์์ด ์ ํ์
ํ์ ์ฐ๊ตฌ ๋ฐฉํฅ : ๊ฐ ์น์
๋ณ๋ก ๋ฏธํด๊ฒฐ ๋ฌธ์ (unsolved challenges)๋ฅผ ๋์ฑ ๋ช
ํํ ์ ์ํ๊ณ , humanoid robot teleoperation์ ์์ฉํ ๋จ๊ณ๋ฅผ ์ํ ๊ตฌ์ฒด์ ๋ก๋๋งต ์ ์ ํ์
Evaluation
Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
์ดํ : ๋ณธ ๋
ผ๋ฌธ์ humanoid robot teleoperation ๋ถ์ผ์ ์ฒซ ๋ฒ์งธ ํฌ๊ด์ survey๋ก, ์์คํ
์ํคํ
์ฒ, ๊ธฐ์ ์ ๋์ ๊ณผ์ , ๊ทธ๋ฆฌ๊ณ ์ค์ ์์ฉ์ ํตํฉ์ ์ผ๋ก ๋ค๋ฃฌ๋ค. ์น ๊ธฐ๋ฐ ์๋ฃ๊น์ง ์ ๊ณตํ์ฌ ํ๊ณ์ ์ ๊ทผ์ฑ์ ๋์์ผ๋, ์ด๋ก ์ ๊น์ด์ ์ ๋์ ์ฑ๋ฅ ๋น๊ต ๋ถ์์ด ์ถ๊ฐ๋๋ฉด ๋์ฑ ๊ฐํ๋ ์ ์๋ค. ๊ณ ์ํ ์๊ฒฉ ์์
์ ์์ ์ฑ๊ณผ ํจ์จ์ฑ์ด ์ค์ํด์ง๋ ์๋์ ๋งค์ฐ ์์์ ์ ํ๊ณ ๊ฐ์น ์๋ ๊ธฐ์ฌ์ด๋ค.
๐ง Audio Overview
์ด ๋
ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํ์บ์คํธํ ์ค๋์ค๋ก ์์ฑํฉ๋๋ค. (Gemini ยท ํค๋ ๋ธ๋ผ์ฐ์ ์๋ง ์ ์ฅ ยท ์์ฑ๋ณธ์ ์ด๋ฉ์ผ๋ก๋ ์ ์ก)
๋์ ์ฒญ์ค
์ผ๋ฐ์ธ
๋ํ์ยท๋ํ์์
์ ๋ฌธ๊ฐ
ํค
์น๊ทผํ
ํ์ ์
ํ๊ธฐ์ฐฌ
์ฃผ์์ (์ ํ)
โธ ๊ณ ๊ธ: ๊ตฌ์ฑ ๋ฐฉํฅ(๋๋ณธ ์์ฑ ์ง์นจ) ์ง์ ์์
๋ซ๊ธฐ
์์ฑ
Developed by Jehyun Lee, KIST AIX Strategy Department | jehyun.lee@gmail.com