Compreensão de Expressões de Referência Incorporada na Interação Humano-Robô
Embodied Referring Expression Comprehension in Human-Robot Interaction
December 6, 2025
Autores: Md Mofijul Islam, Alexi Gladstone, Sujan Sarker, Ganesh Nanduru, Md Fahim, Keyan Du, Aman Chadha, Tariq Iqbal
cs.AI
Resumo
À medida que os robôs adentram os espaços de trabalho humanos, surge uma necessidade crucial de que compreendam instruções humanas corporificadas, permitindo uma interação homem-robô (HRI) intuitiva e fluida. No entanto, a compreensão precisa é desafiadora devido à escassez de conjuntos de dados em larga escala que capturem interações corporificadas naturais em diversos cenários de HRI. Os conjuntos de dados existentes padecem de viés de perspectiva, coleta de visão única, cobertura inadequada de gestos não verbais e um foco predominante em ambientes internos. Para enfrentar essas questões, apresentamos o conjunto de dados Refer360, um conjunto de dados em larga escala de interações verbais e não verbais corporificadas, coletadas a partir de diversos pontos de vista em ambientes internos e externos. Adicionalmente, introduzimos o MuRes, um módulo residual guiado multimodal projetado para melhorar a compreensão de expressões de referência corporificadas. O MuRes atua como um gargalo de informação, extraindo sinais salientes específicos de cada modalidade e reforçando-os nas representações pré-treinadas para formar características complementares para tarefas subsequentes. Realizamos experimentos extensos em quatro conjuntos de dados de HRI, incluindo o Refer360, e demonstramos que os modelos multimodais atuais falham em capturar interações corporificadas de forma abrangente; contudo, aumentá-los com o MuRes melhora consistentemente o desempenho. Esses achados estabelecem o Refer360 como uma referência valiosa e evidenciam o potencial da aprendizagem residual guiada para avançar a compreensão de expressões de referência corporificadas em robôs que operam em ambientes humanos.
English
As robots enter human workspaces, there is a crucial need for them to comprehend embodied human instructions, enabling intuitive and fluent human-robot interaction (HRI). However, accurate comprehension is challenging due to a lack of large-scale datasets that capture natural embodied interactions in diverse HRI settings. Existing datasets suffer from perspective bias, single-view collection, inadequate coverage of nonverbal gestures, and a predominant focus on indoor environments. To address these issues, we present the Refer360 dataset, a large-scale dataset of embodied verbal and nonverbal interactions collected across diverse viewpoints in both indoor and outdoor settings. Additionally, we introduce MuRes, a multimodal guided residual module designed to improve embodied referring expression comprehension. MuRes acts as an information bottleneck, extracting salient modality-specific signals and reinforcing them into pre-trained representations to form complementary features for downstream tasks. We conduct extensive experiments on four HRI datasets, including the Refer360 dataset, and demonstrate that current multimodal models fail to capture embodied interactions comprehensively; however, augmenting them with MuRes consistently improves performance. These findings establish Refer360 as a valuable benchmark and exhibit the potential of guided residual learning to advance embodied referring expression comprehension in robots operating within human environments.