Lichtgewicht visueel redeneren voor sociaal bewuste robots

Samenvatting

Robots die opereren in gedeelde menselijke omgevingen moeten niet alleen navigeren, interacteren en hun omgeving detecteren, maar ook dynamisch en vaak onvoorspelbaar menselijk gedrag interpreteren en erop reageren. Hoewel recente vooruitgang veelbelovend is in het verbeteren van robotperceptie en het opvolgen van instructies met Vision-Language Models (VLMs), blijven ze beperkt in het adresseren van de complexiteit van multimodale mens-robotinteracties (HRI). Gemotiveerd door deze uitdaging introduceren we een lichtgewicht taal-naar-visie feedbackmodule die de lus sluit tussen een LLM en de vision-encoder in VLMs. De module projecteert verborgen toestanden van beeld-tokens via een gegated Multi-Layer Perceptron (MLP) terug naar de encoder-input, wat een tweede passage activeert die de scène opnieuw interpreteerd binnen de tekstcontext. We evalueren deze aanpak op drie robotica-gerichte taken: navigatie in een gesimuleerde omgeving (Habitat), sequentiële scènebeschrijving (Mementos-Robotics) en herkenning van menselijke intenties (onze HRI-dataset). Resultaten tonen aan dat onze methode Qwen 2.5 (7B) verbetert met 3.3% (minder afgelegde afstand), +0.057 beschrijvingsscore en +2.93% nauwkeurigheid, met minder dan 3% extra parameters; Gemma 3 (4B) en LLaVA OV 1.5 (4B) tonen gemengde navigatieresultaten maar behalen winsten van +0.111,+0.055 en +10.81%,+4.79% op de laatste twee taken. Code is beschikbaar op https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics

English

Robots operating in shared human environments must not only navigate, interact, and detect their surroundings, they must also interpret and respond to dynamic, and often unpredictable, human behaviours. Although recent advances have shown promise in enhancing robotic perception and instruction-following using Vision-Language Models (VLMs), they remain limited in addressing the complexities of multimodal human-robot interactions (HRI). Motivated by this challenge, we introduce a lightweight language-to-vision feedback module that closes the loop between an LLM and the vision encoder in VLMs. The module projects image-token hidden states through a gated Multi-Layer Perceptron (MLP) back into the encoder input, prompting a second pass that reinterprets the scene under text context. We evaluate this approach on three robotics-centred tasks: navigation in a simulated environment (Habitat), sequential scene description (Mementos-Robotics), and human-intention recognition (our HRI dataset). Results show that our method improves Qwen 2.5 (7B) by 3.3% (less distance), +0.057 description score, and +2.93% accuracy, with less than 3% extra parameters; Gemma 3 (4B) and LLaVA OV 1.5 (4B) show mixed navigation results but gains +0.111,+0.055 and +10.81%,+4.79% on the latter two tasks. Code is available at https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics

Lichtgewicht visueel redeneren voor sociaal bewuste robots

Lightweight Visual Reasoning for Socially-Aware Robots

Samenvatting

Support