VLA-0: Создание современных VLA без внесения изменений

Аннотация

Модели Vision-Language-Action (VLA) обладают огромным потенциалом для создания универсальных роботизированных систем манипуляции. Однако оптимальный способ их построения остается открытым вопросом. Современные подходы часто усложняют архитектуру, например, модифицируя существующий словарь Vision-Language Model (VLM) с помощью токенов действий или вводя специализированные "головы" для действий. Любопытно, что простейшая стратегия — представление действий непосредственно в виде текста — оставалась практически неисследованной. В данной работе представлена модель VLA-0 для изучения этой идеи. Мы обнаружили, что VLA-0 не только эффективна, но и удивительно мощна. При правильной разработке VLA-0 превосходит более сложные модели. На LIBERO, популярном бенчмарке для оценки VLA, VLA-0 превосходит все существующие методы, обученные на тех же роботизированных данных, включая pi_0.5-KI, OpenVLA-OFT и SmolVLA. Более того, без масштабного обучения на роботизированных данных она превосходит методы, обученные на таких данных, такие как pi_0.5-KI, pi_0, GR00T-N1 и MolmoAct. Эти результаты также подтверждаются в реальных условиях, где VLA-0 превосходит SmolVLA — модель VLA, предварительно обученную на крупномасштабных реальных данных. В данной статье обобщены наши неожиданные результаты и описаны конкретные методы, необходимые для раскрытия высокой производительности этой простой, но мощной архитектуры VLA. Визуальные результаты, код и обученные модели доступны по ссылке: https://vla0.github.io/.

English

Vision-Language-Action models (VLAs) hold immense promise for enabling generalist robot manipulation. However, the best way to build them remains an open question. Current approaches often add complexity, such as modifying the existing vocabulary of a Vision-Language Model (VLM) with action tokens or introducing special action heads. Curiously, the simplest strategy of representing actions directly as text has remained largely unexplored. This work introduces VLA-0 to investigate this idea. We find that VLA-0 is not only effective; it is surprisingly powerful. With the right design, VLA-0 outperforms more involved models. On LIBERO, a popular benchmark for evaluating VLAs, VLA-0 outperforms all existing methods trained on the same robotic data, including pi_0.5-KI, OpenVLA-OFT and SmolVLA. Furthermore, without large-scale robotics-specific training, it outperforms methods trained on large-scale robotic data, like pi_0.5-KI, pi_0, GR00T-N1 and MolmoAct. These findings also translate to the real world, where VLA-0 outperforms SmolVLA, a VLA model pre-trained on large-scale real data. This paper summarizes our unexpected findings and spells out the specific techniques required to unlock the high performance of this simple yet potent VLA design. Visual results, code, and trained models are provided here: https://vla0.github.io/.

VLA-0: Создание современных VLA без внесения изменений

VLA-0: Building State-of-the-Art VLAs with Zero Modification

Аннотация

Support