Compréhension des expressions référentielles incarnées dans l'interaction humain-robot
Embodied Referring Expression Comprehension in Human-Robot Interaction
December 6, 2025
papers.authors: Md Mofijul Islam, Alexi Gladstone, Sujan Sarker, Ganesh Nanduru, Md Fahim, Keyan Du, Aman Chadha, Tariq Iqbal
cs.AI
papers.abstract
Alors que les robots investissent les espaces de travail humains, il est crucial qu'ils comprennent les instructions incarnées des personnes pour permettre une interaction homme-robot (HRI) intuitive et fluide. Cependant, une compréhension précise est difficile en raison du manque de jeux de données à grande échelle capturant des interactions incarnées naturelles dans divers contextes de HRI. Les jeux de données existants souffrent de biais de perspective, d'une collecte à vue unique, d'une couverture inadéquate des gestes non verbaux et d'une focalisation prédominante sur les environnements intérieurs. Pour résoudre ces problèmes, nous présentons le jeu de données Refer360, une collection à grande échelle d'interactions verbales et non verbales incarnées, recueillies sous divers angles de vue dans des environnements intérieurs et extérieurs. De plus, nous introduisons MuRes, un module résiduel guidé multimodal conçu pour améliorer la compréhension des expressions de référence incarnées. MuRes agit comme un goulot d'étranglement informationnel, extrayant les signaux saillants spécifiques à chaque modalité et les renforçant dans des représentations pré-entraînées pour former des caractéristiques complémentaires pour les tâches en aval. Nous menons des expériences approfondies sur quatre jeux de données HRI, incluant Refer360, et démontrons que les modèles multimodaux actuels ne parviennent pas à capturer de manière exhaustive les interactions incarnées ; cependant, les augmenter avec MuRes améliore constamment leurs performances. Ces résultats établissent Refer360 comme un benchmark précieux et montrent le potentiel de l'apprentissage résiduel guidé pour faire progresser la compréhension des expressions de référence incarnées chez les robots opérant dans des environnements humains.
English
As robots enter human workspaces, there is a crucial need for them to comprehend embodied human instructions, enabling intuitive and fluent human-robot interaction (HRI). However, accurate comprehension is challenging due to a lack of large-scale datasets that capture natural embodied interactions in diverse HRI settings. Existing datasets suffer from perspective bias, single-view collection, inadequate coverage of nonverbal gestures, and a predominant focus on indoor environments. To address these issues, we present the Refer360 dataset, a large-scale dataset of embodied verbal and nonverbal interactions collected across diverse viewpoints in both indoor and outdoor settings. Additionally, we introduce MuRes, a multimodal guided residual module designed to improve embodied referring expression comprehension. MuRes acts as an information bottleneck, extracting salient modality-specific signals and reinforcing them into pre-trained representations to form complementary features for downstream tasks. We conduct extensive experiments on four HRI datasets, including the Refer360 dataset, and demonstrate that current multimodal models fail to capture embodied interactions comprehensively; however, augmenting them with MuRes consistently improves performance. These findings establish Refer360 as a valuable benchmark and exhibit the potential of guided residual learning to advance embodied referring expression comprehension in robots operating within human environments.