TAIHRI: 近距離人間-ロボットインタラクションのためのタスク認識型3次元人間キーポイント位置推定
TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction
April 10, 2026
著者: Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang
cs.AI
要旨
精密な3次元人体キーポイント位置推定は、ロボットがユーザーとの自然で安全な物理的インタラクションを実現する上で不可欠な基盤技術である。従来の3次元人体キーポイント推定手法は、主にルート関節に対する全身再構成の精度に焦点が当てられてきた。しかし、実世界の人間-ロボットインタラクション（HRI）シナリオでは、ロボットは自己中心視点カメラの3次元座標系における、タスクに関連する身体部位のメートル法単位での精密な空間位置推定をより重視する。本論文では、近距離HRI知覚に特化した初のVision-Language Model（VLM）であるTAIHRIを提案する。TAIHRIはユーザーの動作指令を理解し、ロボットの注意をタスクに最も関連性の高いキーポイントへと誘導することが可能である。3次元キーポイントを有限のインタラクション空間に量子化することにより、TAIHRIは次のトークン予測を介した2次元キーポイント推論によって重要身体部位の3次元空間座標を精密に位置特定し、自然言語制御や大域空間での人体メッシュ復元などの下流タスクにシームレスに適応する。自己中心視点インタラクションベンチマークによる実験では、TAIHRIがタスク遂行上重要な身体部位において優れた推定精度を達成することを実証した。TAIHRIは具身化された人間-ロボットインタラクション研究に新たな道筋を開くものと確信している。コードはhttps://github.com/Tencent/TAIHRI で公開されている。
English
Accurate 3D human keypoints localization is a critical technology enabling robots to achieve natural and safe physical interaction with users. Conventional 3D human keypoints estimation methods primarily focus on the whole-body reconstruction quality relative to the root joint. However, in practical human-robot interaction (HRI) scenarios, robots are more concerned with the precise metric-scale spatial localization of task-relevant body parts under the egocentric camera 3D coordinate. We propose TAIHRI, the first Vision-Language Model (VLM) tailored for close-range HRI perception, capable of understanding users' motion commands and directing the robot's attention to the most task-relevant keypoints. By quantizing 3D keypoints into a finite interaction space, TAIHRI precisely localize the 3D spatial coordinates of critical body parts by 2D keypoint reasoning via next token prediction, and seamlessly adapt to downstream tasks such as natural language control or global space human mesh recovery. Experiments on egocentric interaction benchmarks demonstrate that TAIHRI achieves superior estimation accuracy for task-critical body parts. We believe TAIHRI opens new research avenues in the field of embodied human-robot interaction. Code is available at: https://github.com/Tencent/TAIHRI.