NORA: Un modello visione-linguaggio-azione generalista open source di piccole dimensioni per compiti embodied

NORA: A Small Open-Sourced Generalist Vision Language Action Model for Embodied Tasks

April 28, 2025

Autori: Chia-Yu Hung, Qi Sun, Pengfei Hong, Amir Zadeh, Chuan Li, U-Xuan Tan, Navonil Majumder, Soujanya Poria

cs.AI

Abstract

I modelli Visual-Language-Action (VLA) esistenti hanno mostrato prestazioni promettenti in scenari zero-shot, dimostrando capacità impressionanti nell'esecuzione di compiti e nel ragionamento. Tuttavia, una sfida significativa deriva dalle limitazioni della codifica visiva, che può portare a fallimenti durante compiti come la presa di oggetti. Inoltre, questi modelli tipicamente soffrono di un elevato sovraccarico computazionale a causa delle loro grandi dimensioni, spesso superiori a 7 miliardi di parametri. Sebbene questi modelli eccellano nel ragionamento e nella pianificazione dei compiti, il sostanziale sovraccarico computazionale che comportano li rende poco pratici per ambienti robotici in tempo reale, dove velocità ed efficienza sono fondamentali. Per affrontare le limitazioni dei modelli VLA esistenti, proponiamo NORA, un modello da 3 miliardi di parametri progettato per ridurre il sovraccarico computazionale mantenendo prestazioni solide nei compiti. NORA adotta il modello multimodale Qwen-2.5-VL-3B come base, sfruttando la sua superiore comprensione visivo-semantica per migliorare il ragionamento visivo e la fondazione delle azioni. Inoltre, il nostro modello è addestrato su 970.000 dimostrazioni robotiche del mondo reale ed è dotato del tokenizer FAST+ per una generazione efficiente di sequenze di azioni. I risultati sperimentali dimostrano che NORA supera i modelli VLA su larga scala esistenti, ottenendo migliori prestazioni nei compiti con un sovraccarico computazionale significativamente ridotto, rendendolo una soluzione più pratica per l'autonomia robotica in tempo reale.

English

Existing Visual-Language-Action (VLA) models have shown promising performance in zero-shot scenarios, demonstrating impressive task execution and reasoning capabilities. However, a significant challenge arises from the limitations of visual encoding, which can result in failures during tasks such as object grasping. Moreover, these models typically suffer from high computational overhead due to their large sizes, often exceeding 7B parameters. While these models excel in reasoning and task planning, the substantial computational overhead they incur makes them impractical for real-time robotic environments, where speed and efficiency are paramount. To address the limitations of existing VLA models, we propose NORA, a 3B-parameter model designed to reduce computational overhead while maintaining strong task performance. NORA adopts the Qwen-2.5-VL-3B multimodal model as its backbone, leveraging its superior visual-semantic understanding to enhance visual reasoning and action grounding. Additionally, our is trained on 970k real-world robot demonstrations and equipped with the FAST+ tokenizer for efficient action sequence generation. Experimental results demonstrate that NORA outperforms existing large-scale VLA models, achieving better task performance with significantly reduced computational overhead, making it a more practical solution for real-time robotic autonomy.