TAIHRI: Задача-ориентированная локализация 3D ключевых точек человека для ближнего человеко-роботного взаимодействия
TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction
April 10, 2026
Авторы: Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang
cs.AI
Аннотация
Точная локализация 3D-ключевых точек человека является ключевой технологией, позволяющей роботам достигать естественного и безопасного физического взаимодействия с пользователями. Традиционные методы оценки 3D-ключевых точек человека в основном сосредоточены на качестве реконструкции всего тела относительно корневого сустава. Однако в практических сценариях взаимодействия человека и робота (HRI) роботов больше интересует точное метрическое пространственное позиционирование релевантных для задачи частей тела в эгоцентрической системе координат 3D-камеры. Мы предлагаем TAIHRI — первую модель «визуальный язык» (VLM), разработанную specifically для восприятия в условиях близкого HRI, способную понимать команды движения пользователей и направлять внимание робота на наиболее релевантные для задачи ключевые точки. Благодаря квантованию 3D-ключевых точек в конечное пространство взаимодействия, TAIHRI точно определяет 3D-пространственные координаты критических частей тела путем 2D-рассуждения о ключевых точках через предсказание следующего токена и бесшовно адаптируется к последующим задачам, таким как управление на естественном языке или восстановление полигональной модели человека в глобальном пространстве. Эксперименты на эгоцентрических бенчмарках взаимодействия демонстрируют, что TAIHRI достигает превосходной точности оценки для критически важных для задачи частей тела. Мы считаем, что TAIHRI открывает новые исследовательские направления в области воплощенного взаимодействия человека и робота. Код доступен по адресу: https://github.com/Tencent/TAIHRI.
English
Accurate 3D human keypoints localization is a critical technology enabling robots to achieve natural and safe physical interaction with users. Conventional 3D human keypoints estimation methods primarily focus on the whole-body reconstruction quality relative to the root joint. However, in practical human-robot interaction (HRI) scenarios, robots are more concerned with the precise metric-scale spatial localization of task-relevant body parts under the egocentric camera 3D coordinate. We propose TAIHRI, the first Vision-Language Model (VLM) tailored for close-range HRI perception, capable of understanding users' motion commands and directing the robot's attention to the most task-relevant keypoints. By quantizing 3D keypoints into a finite interaction space, TAIHRI precisely localize the 3D spatial coordinates of critical body parts by 2D keypoint reasoning via next token prediction, and seamlessly adapt to downstream tasks such as natural language control or global space human mesh recovery. Experiments on egocentric interaction benchmarks demonstrate that TAIHRI achieves superior estimation accuracy for task-critical body parts. We believe TAIHRI opens new research avenues in the field of embodied human-robot interaction. Code is available at: https://github.com/Tencent/TAIHRI.