NORA: Un modelo generalista de visión, lenguaje y acción de código abierto y de pequeño tamaño para tareas de sistemas embebidos

NORA: A Small Open-Sourced Generalist Vision Language Action Model for Embodied Tasks

April 28, 2025

Autores: Chia-Yu Hung, Qi Sun, Pengfei Hong, Amir Zadeh, Chuan Li, U-Xuan Tan, Navonil Majumder, Soujanya Poria

cs.AI

Resumen

Los modelos existentes de Visión-Lenguaje-Acción (VLA) han mostrado un rendimiento prometedor en escenarios de cero disparos, demostrando capacidades impresionantes de ejecución de tareas y razonamiento. Sin embargo, un desafío significativo surge de las limitaciones de la codificación visual, lo que puede resultar en fallos durante tareas como el agarre de objetos. Además, estos modelos suelen sufrir un alto costo computacional debido a su gran tamaño, que a menudo supera los 7B de parámetros. Aunque estos modelos sobresalen en razonamiento y planificación de tareas, el considerable costo computacional que conllevan los hace poco prácticos para entornos robóticos en tiempo real, donde la velocidad y la eficiencia son primordiales. Para abordar las limitaciones de los modelos VLA existentes, proponemos NORA, un modelo de 3B parámetros diseñado para reducir el costo computacional mientras mantiene un fuerte rendimiento en tareas. NORA adopta el modelo multimodal Qwen-2.5-VL-3B como su columna vertebral, aprovechando su comprensión visual-semántica superior para mejorar el razonamiento visual y la fundamentación de acciones. Además, nuestro modelo se entrena con 970k demostraciones robóticas del mundo real y está equipado con el tokenizador FAST+ para la generación eficiente de secuencias de acciones. Los resultados experimentales demuestran que NORA supera a los modelos VLA de gran escala existentes, logrando un mejor rendimiento en tareas con un costo computacional significativamente reducido, lo que lo convierte en una solución más práctica para la autonomía robótica en tiempo real.

English

Existing Visual-Language-Action (VLA) models have shown promising performance in zero-shot scenarios, demonstrating impressive task execution and reasoning capabilities. However, a significant challenge arises from the limitations of visual encoding, which can result in failures during tasks such as object grasping. Moreover, these models typically suffer from high computational overhead due to their large sizes, often exceeding 7B parameters. While these models excel in reasoning and task planning, the substantial computational overhead they incur makes them impractical for real-time robotic environments, where speed and efficiency are paramount. To address the limitations of existing VLA models, we propose NORA, a 3B-parameter model designed to reduce computational overhead while maintaining strong task performance. NORA adopts the Qwen-2.5-VL-3B multimodal model as its backbone, leveraging its superior visual-semantic understanding to enhance visual reasoning and action grounding. Additionally, our is trained on 970k real-world robot demonstrations and equipped with the FAST+ tokenizer for efficient action sequence generation. Experimental results demonstrate that NORA outperforms existing large-scale VLA models, achieving better task performance with significantly reduced computational overhead, making it a more practical solution for real-time robotic autonomy.