Razonamiento Visual Ligero para Robots Socialmente Conscientes

Lightweight Visual Reasoning for Socially-Aware Robots

March 4, 2026

Autores: Alessio Galatolo, Ronald Cumbal, Alexandros Rouchitsas, Katie Winkle, Didem Gürdür Broo, Ginevra Castellano

cs.AI

Resumen

Los robots que operan en entornos compartidos con humanos no solo deben navegar, interactuar y detectar su entorno, sino también interpretar y responder a comportamientos humanos dinámicos y a menudo impredecibles. Aunque los avances recientes han mostrado potencial para mejorar la percepción robótica y el seguimiento de instrucciones mediante Modelos de Visión y Lenguaje (VLMs), estos aún presentan limitaciones para abordar las complejidades de las interacciones humano-robot (HRI) multimodales. Motivados por este desafío, presentamos un módulo de retroalimentación lenguaje-a-visión ligero que cierra el bucle entre un LLM y el codificador de visión en los VLMs. El módulo proyecta los estados ocultos de los tokens de imagen a través de un Perceptrón Multicapa (MLP) con compuerta de vuelta a la entrada del codificador, solicitando una segunda pasada que reinterpreta la escena bajo contexto textual. Evaluamos este enfoque en tres tareas centradas en robótica: navegación en un entorno simulado (Habitat), descripción secuencial de escenas (Mementos-Robotics) y reconocimiento de intenciones humanas (nuestro conjunto de datos HRI). Los resultados muestran que nuestro método mejora a Qwen 2.5 (7B) en un 3.3% (menor distancia), +0.057 de puntuación en descripción y +2.93% de precisión, con menos de un 3% de parámetros adicionales; Gemma 3 (4B) y LLaVA OV 1.5 (4B) muestran resultados mixtos en navegación pero ganan +0.111,+0.055 y +10.81%,+4.79% en las dos últimas tareas. El código está disponible en https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics.

English

Robots operating in shared human environments must not only navigate, interact, and detect their surroundings, they must also interpret and respond to dynamic, and often unpredictable, human behaviours. Although recent advances have shown promise in enhancing robotic perception and instruction-following using Vision-Language Models (VLMs), they remain limited in addressing the complexities of multimodal human-robot interactions (HRI). Motivated by this challenge, we introduce a lightweight language-to-vision feedback module that closes the loop between an LLM and the vision encoder in VLMs. The module projects image-token hidden states through a gated Multi-Layer Perceptron (MLP) back into the encoder input, prompting a second pass that reinterprets the scene under text context. We evaluate this approach on three robotics-centred tasks: navigation in a simulated environment (Habitat), sequential scene description (Mementos-Robotics), and human-intention recognition (our HRI dataset). Results show that our method improves Qwen 2.5 (7B) by 3.3% (less distance), +0.057 description score, and +2.93% accuracy, with less than 3% extra parameters; Gemma 3 (4B) and LLaVA OV 1.5 (4B) show mixed navigation results but gains +0.111,+0.055 and +10.81%,+4.79% on the latter two tasks. Code is available at https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics