Ragionamento Visivo Leggero per Robot Socialmente Consapevoli

Abstract

I robot che operano in ambienti condivisi con gli esseri umani non devono solo navigare, interagire e rilevare l'ambiente circostante, ma anche interpretare e rispondere a comportamenti umani dinamici e spesso imprevedibili. Sebbene i recenti progressi abbiano mostrato potenzialità nel migliorare la percezione robotica e l'adesione alle istruzioni utilizzando Modelli Visione-Linguaggio (VLM), questi rimangono limitati nell'affrontare le complessità delle interazioni uomo-robot (HRI) multimodali. Motivati da questa sfida, introduciamo un modulo di feedback linguaggio-visione leggero che chiude il ciclo tra un LLM e l'encoder visivo nei VLM. Il modulo proietta gli stati nascosti dei token immagine attraverso un Perceptron Multistrato (MLP) controllato da gate nuovamente nell'input dell'encoder, sollecitando un secondo passaggio che reinterpreta la scena nel contesto testuale. Valutiamo questo approccio su tre compiti incentrati sulla robotica: navigazione in un ambiente simulato (Habitat), descrizione sequenziale della scena (Mementos-Robotics) e riconoscimento delle intenzioni umane (nostro dataset HRI). I risultati mostrano che il nostro metodo migliora Qwen 2.5 (7B) del 3.3% (distanza minore), +0.057 nel punteggio di descrizione e +2.93% in accuratezza, con meno del 3% di parametri aggiuntivi; Gemma 3 (4B) e LLaVA OV 1.5 (4B) mostrano risultati di navigazione contrastanti ma guadagni di +0.111, +0.055 e +10.81%, +4.79% negli ultimi due compiti. Il codice è disponibile all'indirizzo https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics.

English

Robots operating in shared human environments must not only navigate, interact, and detect their surroundings, they must also interpret and respond to dynamic, and often unpredictable, human behaviours. Although recent advances have shown promise in enhancing robotic perception and instruction-following using Vision-Language Models (VLMs), they remain limited in addressing the complexities of multimodal human-robot interactions (HRI). Motivated by this challenge, we introduce a lightweight language-to-vision feedback module that closes the loop between an LLM and the vision encoder in VLMs. The module projects image-token hidden states through a gated Multi-Layer Perceptron (MLP) back into the encoder input, prompting a second pass that reinterprets the scene under text context. We evaluate this approach on three robotics-centred tasks: navigation in a simulated environment (Habitat), sequential scene description (Mementos-Robotics), and human-intention recognition (our HRI dataset). Results show that our method improves Qwen 2.5 (7B) by 3.3% (less distance), +0.057 description score, and +2.93% accuracy, with less than 3% extra parameters; Gemma 3 (4B) and LLaVA OV 1.5 (4B) show mixed navigation results but gains +0.111,+0.055 and +10.81%,+4.79% on the latter two tasks. Code is available at https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics

Ragionamento Visivo Leggero per Robot Socialmente Consapevoli

Lightweight Visual Reasoning for Socially-Aware Robots

Abstract

Support