Verkörperlichtes Verstehen von Referenzausdrücken in der Mensch-Roboter-Interaktion
Embodied Referring Expression Comprehension in Human-Robot Interaction
December 6, 2025
papers.authors: Md Mofijul Islam, Alexi Gladstone, Sujan Sarker, Ganesh Nanduru, Md Fahim, Keyan Du, Aman Chadha, Tariq Iqbal
cs.AI
papers.abstract
Da Roboter zunehmend in menschliche Arbeitsumgebungen vordringen, ist es entscheidend, dass sie verkörperte menschliche Anweisungen verstehen, um eine intuitive und flüssige Mensch-Roboter-Interaktion (HRI) zu ermöglichen. Ein genaues Verständnis ist jedoch aufgrund des Mangels an groß angelegten Datensätzen, die natürliche verkörperte Interaktionen in verschiedenen HRI-Szenarien erfassen, eine Herausforderung. Bestehende Datensätze leiden unter Perspektivenverzerrung, Erfassung aus nur einer Blickrichtung, unzureichender Abdeckung non-verbaler Gesten und einem vorwiegenden Fokus auf Innenraumumgebungen. Um diese Probleme zu adressieren, stellen wir den Refer360-Datensatz vor – einen groß angelegten Datensatz verkörperter verbaler und non-verbaler Interaktionen, die aus verschiedenen Blickwinkeln sowohl in Innen- als auch Außenbereichen erfasst wurden. Zusätzlich führen wir MuRes ein, ein multimodales geführtes Residualmodul, das entwickelt wurde, um das Verständnis verkörperter Referenzausdrücke zu verbessern. MuRes fungiert als Informationsengpass, extrahiert salientige modalspezifische Signale und verstärkt diese in vortrainierten Repräsentationen, um komplementäre Merkmale für nachgelagerte Aufgaben zu bilden. Wir führen umfangreiche Experimente mit vier HRI-Datensätzen, einschließlich des Refer360-Datensatzes, durch und zeigen, dass aktuelle multimodale Modelle verkörperte Interaktionen nicht umfassend erfassen können; durch eine Erweiterung mit MuRes wird ihre Leistung jedoch konsistent verbessert. Diese Ergebnisse etablieren Refer360 als wertvollen Benchmark und demonstrieren das Potenzial von geführtem Residual-Lernen, um das Verständnis verkörperter Referenzausdrücke bei Robotern, die in menschlichen Umgebungen agieren, voranzutreiben.
English
As robots enter human workspaces, there is a crucial need for them to comprehend embodied human instructions, enabling intuitive and fluent human-robot interaction (HRI). However, accurate comprehension is challenging due to a lack of large-scale datasets that capture natural embodied interactions in diverse HRI settings. Existing datasets suffer from perspective bias, single-view collection, inadequate coverage of nonverbal gestures, and a predominant focus on indoor environments. To address these issues, we present the Refer360 dataset, a large-scale dataset of embodied verbal and nonverbal interactions collected across diverse viewpoints in both indoor and outdoor settings. Additionally, we introduce MuRes, a multimodal guided residual module designed to improve embodied referring expression comprehension. MuRes acts as an information bottleneck, extracting salient modality-specific signals and reinforcing them into pre-trained representations to form complementary features for downstream tasks. We conduct extensive experiments on four HRI datasets, including the Refer360 dataset, and demonstrate that current multimodal models fail to capture embodied interactions comprehensively; however, augmenting them with MuRes consistently improves performance. These findings establish Refer360 as a valuable benchmark and exhibit the potential of guided residual learning to advance embodied referring expression comprehension in robots operating within human environments.