TAIHRI : Localisation de points-clés humains 3D conscients des tâches pour l'interaction humain-robot en champ proche
TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction
April 10, 2026
Auteurs: Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang
cs.AI
Résumé
La localisation précise des points clés humains en 3D est une technologie essentielle permettant aux robots d'atteindre une interaction physique naturelle et sûre avec les utilisateurs. Les méthodes conventionnelles d'estimation des points clés humains en 3D se concentrent principalement sur la qualité de reconstruction du corps entier par rapport à l'articulation racine. Cependant, dans les scénarios pratiques d'interaction humain-robot (HRI), les robots sont davantage préoccupés par la localisation spatiale précise à l'échelle métrique des parties du corps pertinentes pour la tâche, dans le système de coordonnées 3D de la caméra égocentrique. Nous proposons TAIHRI, le premier modèle vision-langage (VLM) conçu pour la perception HRI à courte distance, capable de comprendre les commandes de mouvement des utilisateurs et d'orienter l'attention du robot vers les points clés les plus pertinents pour la tâche. En quantifiant les points clés 3D dans un espace d'interaction fini, TAIHRI localise avec précision les coordonnées spatiales 3D des parties corporelles critiques par raisonnement sur les points clés 2D via la prédiction du token suivant, et s'adapte de manière transparente aux tâches en aval telles que le contrôle par langage naturel ou la reconstruction du maillage humain dans l'espace global. Les expériences sur des benchmarks d'interaction égocentrique démontrent que TAIHRI atteint une précision d'estimation supérieure pour les parties du corps critiques pour la tâche. Nous pensons que TAIHRI ouvre de nouvelles voies de recherche dans le domaine de l'interaction humain-robot incarnée. Le code est disponible à l'adresse : https://github.com/Tencent/TAIHRI.
English
Accurate 3D human keypoints localization is a critical technology enabling robots to achieve natural and safe physical interaction with users. Conventional 3D human keypoints estimation methods primarily focus on the whole-body reconstruction quality relative to the root joint. However, in practical human-robot interaction (HRI) scenarios, robots are more concerned with the precise metric-scale spatial localization of task-relevant body parts under the egocentric camera 3D coordinate. We propose TAIHRI, the first Vision-Language Model (VLM) tailored for close-range HRI perception, capable of understanding users' motion commands and directing the robot's attention to the most task-relevant keypoints. By quantizing 3D keypoints into a finite interaction space, TAIHRI precisely localize the 3D spatial coordinates of critical body parts by 2D keypoint reasoning via next token prediction, and seamlessly adapt to downstream tasks such as natural language control or global space human mesh recovery. Experiments on egocentric interaction benchmarks demonstrate that TAIHRI achieves superior estimation accuracy for task-critical body parts. We believe TAIHRI opens new research avenues in the field of embodied human-robot interaction. Code is available at: https://github.com/Tencent/TAIHRI.