TAIHRI: Taakbewuste 3D Lokalisatie van Menselijke Sleutelpunten voor Nabije Mens-Robotinteractie
TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction
April 10, 2026
Auteurs: Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang
cs.AI
Samenvatting
Nauwkeurige lokalisatie van 3D-menselijke sleutelpunten is een cruciale technologie waarmee robots natuurlijke en veilige fysieke interactie met gebruikers kunnen bereiken. Conventionele methoden voor 3D-sleutelpuntenschatting richten zich voornamelijk op de kwaliteit van de volledige lichaamsreconstructie ten opzichte van het basisgewricht. In praktische scenario's van mens-robotinteractie (HRI) zijn robots echter meer gebaat bij de precieze metrische schaallokalisatie van taakrelevante lichaamsdelen binnen het egocentrische cameracoördinatenstelsel in 3D. Wij presenteren TAIHRI, het eerste Vision-Language Model (VLM) dat is toegesneden op close-range HRI-perceptie, dat gebruikersbewegingscommando's kan begrijpen en de aandacht van de robot kan richten op de meest taakrelevante sleutelpunten. Door 3D-sleutelpunten te kwantificeren in een eindige interactieruimte, lokaliseert TAIHRI de 3D-ruimtelijke coördinaten van kritieke lichaamsdelen nauwkeurig via 2D-sleutelpuntredenering door middel van volgende tokenvoorspelling, en past het naadloos aan bij downstreamtaken zoals natuurlijke taalbesturing of globaal ruimtelijk herstel van het menselijk mesh. Experimenten op egocentrische interactiebenchmarks tonen aan dat TAIHRI superieure schattingsnauwkeurigheid bereikt voor taakkritieke lichaamsdelen. Wij geloven dat TAIHRI nieuwe onderzoeksrichtingen opent op het gebied van embodied mens-robotinteractie. Code is beschikbaar op: https://github.com/Tencent/TAIHRI.
English
Accurate 3D human keypoints localization is a critical technology enabling robots to achieve natural and safe physical interaction with users. Conventional 3D human keypoints estimation methods primarily focus on the whole-body reconstruction quality relative to the root joint. However, in practical human-robot interaction (HRI) scenarios, robots are more concerned with the precise metric-scale spatial localization of task-relevant body parts under the egocentric camera 3D coordinate. We propose TAIHRI, the first Vision-Language Model (VLM) tailored for close-range HRI perception, capable of understanding users' motion commands and directing the robot's attention to the most task-relevant keypoints. By quantizing 3D keypoints into a finite interaction space, TAIHRI precisely localize the 3D spatial coordinates of critical body parts by 2D keypoint reasoning via next token prediction, and seamlessly adapt to downstream tasks such as natural language control or global space human mesh recovery. Experiments on egocentric interaction benchmarks demonstrate that TAIHRI achieves superior estimation accuracy for task-critical body parts. We believe TAIHRI opens new research avenues in the field of embodied human-robot interaction. Code is available at: https://github.com/Tencent/TAIHRI.