TAIHRI: Aufgabenorientierte 3D-Lokalisierung menschlicher Schlüsselpunkte für die Mensch-Roboter-Interaktion im Nahbereich
TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction
April 10, 2026
Autoren: Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang
cs.AI
Zusammenfassung
Die genaue Lokalisierung von 3D-Human-Keypoints ist eine Schlüsseltechnologie, die Robotern natürliche und sichere physische Interaktionen mit Nutzern ermöglicht. Konventionelle Methoden zur Schätzung von 3D-Human-Keypoints konzentrieren sich primär auf die Ganzkörper-Rekonstruktionsqualität relativ zum Root-Joint. In praktischen Mensch-Roboter-Interaktionsszenarien (HRI) sind Roboter jedoch stärker an der präzisen metrischen räumlichen Lokalisierung aufgabenrelevanter Körperteile im egozentrischen Kamerakoordinatensystem interessiert. Wir stellen TAIHRI vor, das erste Vision-Language-Model (VLM), das speziell für die Nahbereichs-HRI-Wahrnehmung entwickelt wurde und in der Lage ist, Bewegungsbefehle von Nutzern zu verstehen und die Aufmerksamkeit des Roboters auf die aufgabenrelevantesten Keypoints zu lenken. Durch die Quantisierung von 3D-Keypoints in einen endlichen Interaktionsraum lokalisiert TAIHRI präzise die 3D-Raumkoordinaten kritischer Körperteile mittels 2D-Keypoint-Inferenz via Next-Token-Prediction und passt sich nahtlos nachgelagerten Aufgaben wie Sprachsteuerung oder globaler Human-Mesh-Rekonstruktion an. Experimente auf egozentrischen Interaktions-Benchmarks zeigen, dass TAIHRI eine überlegene Schätzgenauigkeit für aufgabenkritische Körperteile erreicht. Wir sind überzeugt, dass TAIHRI neue Forschungswege im Bereich der embodied Mensch-Roboter-Interaktion eröffnet. Der Code ist verfügbar unter: https://github.com/Tencent/TAIHRI.
English
Accurate 3D human keypoints localization is a critical technology enabling robots to achieve natural and safe physical interaction with users. Conventional 3D human keypoints estimation methods primarily focus on the whole-body reconstruction quality relative to the root joint. However, in practical human-robot interaction (HRI) scenarios, robots are more concerned with the precise metric-scale spatial localization of task-relevant body parts under the egocentric camera 3D coordinate. We propose TAIHRI, the first Vision-Language Model (VLM) tailored for close-range HRI perception, capable of understanding users' motion commands and directing the robot's attention to the most task-relevant keypoints. By quantizing 3D keypoints into a finite interaction space, TAIHRI precisely localize the 3D spatial coordinates of critical body parts by 2D keypoint reasoning via next token prediction, and seamlessly adapt to downstream tasks such as natural language control or global space human mesh recovery. Experiments on egocentric interaction benchmarks demonstrate that TAIHRI achieves superior estimation accuracy for task-critical body parts. We believe TAIHRI opens new research avenues in the field of embodied human-robot interaction. Code is available at: https://github.com/Tencent/TAIHRI.