Leichtgewichtiges visuelles Schließen für sozial sensible Roboter

Zusammenfassung

Roboter, die in gemeinsamen menschlichen Umgebungen agieren, müssen nicht nur ihre Umgebung navigieren, interagieren und erfassen, sondern auch dynamische und oft unvorhersehbare menschliche Verhaltensweisen interpretieren und darauf reagieren. Obwohl jüngste Fortschritte vielversprechend für die Verbesserung der robotischen Wahrnehmung und Befolgung von Anweisungen durch Vision-Language-Modelle (VLMs) sind, bleiben sie in der Bewältigung der Komplexität multimodaler Mensch-Roboter-Interaktionen (HRI) begrenzt. Angespornt durch diese Herausforderung stellen wir ein leichtgewichtiges Sprach-zu-Vision-Feedback-Modul vor, das die Schleife zwischen einem LLM und dem Vision-Encoder in VLMs schließt. Das Modul projiziert versteckte Zustände von Bild-Token über ein gated Multi-Layer Perceptron (MLP) zurück in den Encoder-Eingang, was einen zweiten Durchlauf auslöst, der die Szene im Textkontext neu interpretiert. Wir evaluieren diesen Ansatz an drei roboterzentrierten Aufgaben: Navigation in einer simulierten Umgebung (Habitat), sequenzielle Szenenbeschreibung (Mementos-Robotics) und Erkennung menschlicher Absichten (unser HRI-Datensatz). Die Ergebnisse zeigen, dass unsere Methode Qwen 2.5 (7B) um 3,3 % (geringere Distanz), +0,057 Beschreibungspunktzahl und +2,93 % Genauigkeit verbessert, mit weniger als 3 % zusätzlichen Parametern; Gemma 3 (4B) und LLaVA OV 1.5 (4B) zeigen gemischte Navigationsergebnisse, aber Verbesserungen von +0,111 / +0,055 und +10,81 % / +4,79 % bei den beiden letztgenannten Aufgaben. Der Code ist verfügbar unter https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics.

English

Robots operating in shared human environments must not only navigate, interact, and detect their surroundings, they must also interpret and respond to dynamic, and often unpredictable, human behaviours. Although recent advances have shown promise in enhancing robotic perception and instruction-following using Vision-Language Models (VLMs), they remain limited in addressing the complexities of multimodal human-robot interactions (HRI). Motivated by this challenge, we introduce a lightweight language-to-vision feedback module that closes the loop between an LLM and the vision encoder in VLMs. The module projects image-token hidden states through a gated Multi-Layer Perceptron (MLP) back into the encoder input, prompting a second pass that reinterprets the scene under text context. We evaluate this approach on three robotics-centred tasks: navigation in a simulated environment (Habitat), sequential scene description (Mementos-Robotics), and human-intention recognition (our HRI dataset). Results show that our method improves Qwen 2.5 (7B) by 3.3% (less distance), +0.057 description score, and +2.93% accuracy, with less than 3% extra parameters; Gemma 3 (4B) and LLaVA OV 1.5 (4B) show mixed navigation results but gains +0.111,+0.055 and +10.81%,+4.79% on the latter two tasks. Code is available at https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics

Leichtgewichtiges visuelles Schließen für sozial sensible Roboter

Lightweight Visual Reasoning for Socially-Aware Robots

Zusammenfassung

Support