NORA: Een klein open-source generalistisch visueel-taal-actiemodel voor belichaamde taken

NORA: A Small Open-Sourced Generalist Vision Language Action Model for Embodied Tasks

April 28, 2025

Auteurs: Chia-Yu Hung, Qi Sun, Pengfei Hong, Amir Zadeh, Chuan Li, U-Xuan Tan, Navonil Majumder, Soujanya Poria

cs.AI

Samenvatting

Bestaande Visual-Language-Action (VLA) modellen hebben veelbelovende prestaties getoond in zero-shot scenario's, waarbij ze indrukwekkende taakuitvoering en redeneervaardigheden demonstreren. Een aanzienlijke uitdaging doet zich echter voor door de beperkingen van visuele codering, wat kan leiden tot fouten tijdens taken zoals het grijpen van objecten. Bovendien hebben deze modellen doorgaans te kampen met een hoge rekenkundige overhead vanwege hun grote omvang, vaak meer dan 7B parameters. Hoewel deze modellen uitblinken in redeneren en taakplanning, maakt de aanzienlijke rekenkundige overhead die ze met zich meebrengen ze onpraktisch voor real-time robotomgevingen, waar snelheid en efficiëntie van cruciaal belang zijn. Om de beperkingen van bestaande VLA-modellen aan te pakken, stellen we NORA voor, een model met 3B parameters dat is ontworpen om de rekenkundige overhead te verminderen terwijl het sterke taakprestaties behoudt. NORA neemt het Qwen-2.5-VL-3B multimodale model als basis en maakt gebruik van zijn superieure visueel-semantisch begrip om visueel redeneren en actiegronding te verbeteren. Daarnaast is ons model getraind op 970k real-world robotdemonstraties en uitgerust met de FAST+ tokenizer voor efficiënte actiesequentiegeneratie. Experimentele resultaten tonen aan dat NORA bestaande grootschalige VLA-modellen overtreft, met betere taakprestaties en aanzienlijk verminderde rekenkundige overhead, wat het een praktischer oplossing maakt voor real-time robotautonomie.

English

Existing Visual-Language-Action (VLA) models have shown promising performance in zero-shot scenarios, demonstrating impressive task execution and reasoning capabilities. However, a significant challenge arises from the limitations of visual encoding, which can result in failures during tasks such as object grasping. Moreover, these models typically suffer from high computational overhead due to their large sizes, often exceeding 7B parameters. While these models excel in reasoning and task planning, the substantial computational overhead they incur makes them impractical for real-time robotic environments, where speed and efficiency are paramount. To address the limitations of existing VLA models, we propose NORA, a 3B-parameter model designed to reduce computational overhead while maintaining strong task performance. NORA adopts the Qwen-2.5-VL-3B multimodal model as its backbone, leveraging its superior visual-semantic understanding to enhance visual reasoning and action grounding. Additionally, our is trained on 970k real-world robot demonstrations and equipped with the FAST+ tokenizer for efficient action sequence generation. Experimental results demonstrate that NORA outperforms existing large-scale VLA models, achieving better task performance with significantly reduced computational overhead, making it a more practical solution for real-time robotic autonomy.