VLANeXt: Ricette per Costruire Modelli VLA Robusti

Abstract

In seguito all'ascesa dei grandi modelli di base, sono emersi i modelli Vision-Language-Action (VLA), che sfruttano una solida comprensione visiva e linguistica per l'apprendimento di politiche generali. Tuttavia, l'attuale panorama dei VLA rimane frammentato ed esplorativo. Sebbene molti gruppi abbiano proposto i propri modelli VLA, le incongruenze nei protocolli di addestramento e nelle impostazioni di valutazione rendono difficile identificare quali scelte progettuali siano veramente determinanti. Per dare struttura a questo spazio in evoluzione, riesaminiamo lo spazio di progettazione dei VLA all'interno di un quadro unificato e con una configurazione di valutazione uniforme. Partendo da una semplice baseline VLA simile a RT-2 e OpenVLA, analizziamo sistematicamente le scelte progettuali lungo tre dimensioni: componenti fondamentali, elementi essenziali della percezione e prospettive di modellazione delle azioni. Da questo studio, distilliamo 12 risultati chiave che insieme formano una ricetta pratica per costruire modelli VLA robusti. L'esito di questa esplorazione è un modello semplice ma efficace, VLANeXt. VLANeXt supera i precedenti metodi all'avanguardia sui benchmark LIBERO e LIBERO-plus e dimostra una forte generalizzazione in esperimenti nel mondo reale. Rilasceremo una codebase unificata e facile da usare che funga da piattaforma comune per la comunità per riprodurre i nostri risultati, esplorare lo spazio di progettazione e costruire nuove varianti di VLA su una base condivisa.

English

Following the rise of large foundation models, Vision-Language-Action models (VLAs) emerged, leveraging strong visual and language understanding for general-purpose policy learning. Yet, the current VLA landscape remains fragmented and exploratory. Although many groups have proposed their own VLA models, inconsistencies in training protocols and evaluation settings make it difficult to identify which design choices truly matter. To bring structure to this evolving space, we reexamine the VLA design space under a unified framework and evaluation setup. Starting from a simple VLA baseline similar to RT-2 and OpenVLA, we systematically dissect design choices along three dimensions: foundational components, perception essentials, and action modelling perspectives. From this study, we distill 12 key findings that together form a practical recipe for building strong VLA models. The outcome of this exploration is a simple yet effective model, VLANeXt. VLANeXt outperforms prior state-of-the-art methods on the LIBERO and LIBERO-plus benchmarks and demonstrates strong generalization in real-world experiments. We will release a unified, easy-to-use codebase that serves as a common platform for the community to reproduce our findings, explore the design space, and build new VLA variants on top of a shared foundation.

VLANeXt: Ricette per Costruire Modelli VLA Robusti

VLANeXt: Recipes for Building Strong VLA Models

Abstract

Support