WorldVLA: К авторегрессивной модели мира для действий

Аннотация

Мы представляем WorldVLA, авторегрессивную модель мира действий, которая объединяет понимание и генерацию действий и изображений. Наша модель WorldVLA интегрирует модель Vision-Language-Action (VLA) и модель мира в единую структуру. Модель мира предсказывает будущие изображения, используя как понимание действий, так и изображений, с целью изучения базовой физики окружающей среды для улучшения генерации действий. В то же время модель действий генерирует последующие действия на основе наблюдений за изображениями, способствуя визуальному пониманию и, в свою очередь, помогая визуальной генерации модели мира. Мы демонстрируем, что WorldVLA превосходит отдельные модели действий и мира, подчеркивая взаимное усиление между моделью мира и моделью действий. Кроме того, мы обнаруживаем, что производительность модели действий ухудшается при генерации последовательностей действий авторегрессивным способом. Это явление можно объяснить ограниченной способностью модели к обобщению при прогнозировании действий, что приводит к распространению ошибок от предыдущих действий к последующим. Для решения этой проблемы мы предлагаем стратегию маски внимания, которая выборочно маскирует предыдущие действия во время генерации текущего действия, что демонстрирует значительное улучшение производительности в задаче генерации фрагментов действий.

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.

WorldVLA: К авторегрессивной модели мира для действий

WorldVLA: Towards Autoregressive Action World Model

Аннотация

Support