DynamicVLA: Мультимодальная модель «зрение-язык-действие» для манипулирования динамическими объектами

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

January 29, 2026

Авторы: Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu

cs.AI

Аннотация

Манипулирование динамическими объектами остается сложной задачей для моделей Vision-Language-Action (VLA), которые, несмотря на хорошую обобщающую способность в статических сценариях, испытывают трудности в динамических условиях, требующих быстрого восприятия, временного прогнозирования и непрерывного управления. Мы представляем DynamicVLA — фреймворк для манипулирования динамическими объектами, который интегрирует временные рассуждения и адаптацию в замкнутом контуре благодаря трем ключевым особенностям: 1) компактная VLA-модель на 0.4B параметров с сверточной визуальной энкодерой для пространственно эффективного и структурно точного кодирования, обеспечивающего быстрый мультимодальный вывод; 2) непрерывный вывод, позволяющий совмещать рассуждения и исполнение для снижения задержки и своевременной адаптации к движению объектов; и 3) потоковое исполнение действий с учетом латентных состояний, которое устраняет разрыв между восприятием и исполнением за счет временного выравнивания выполнения действий. Для восполнения недостатка данных по динамическому манипулированию мы представляем бенчмарк Dynamic Object Manipulation (DOM), созданный с нуля с помощью автоматизированного конвейера сбора данных, который эффективно собирает 200K синтетических эпизодов в 2.8K сценах с 206 объектами и позволяет быстро собрать 2K реальных эпизодов без телеробототехники. Масштабные оценки демонстрируют значительное улучшение скорости реакции, восприятия и обобщающей способности, что позиционирует DynamicVLA как унифицированный фреймворк для общего манипулирования динамическими объектами в различных воплощениях.

English

Manipulating dynamic objects remains an open challenge for Vision-Language-Action (VLA) models, which, despite strong generalization in static manipulation, struggle in dynamic scenarios requiring rapid perception, temporal anticipation, and continuous control. We present DynamicVLA, a framework for dynamic object manipulation that integrates temporal reasoning and closed-loop adaptation through three key designs: 1) a compact 0.4B VLA using a convolutional vision encoder for spatially efficient, structurally faithful encoding, enabling fast multimodal inference; 2) Continuous Inference, enabling overlapping reasoning and execution for lower latency and timely adaptation to object motion; and 3) Latent-aware Action Streaming, which bridges the perception-execution gap by enforcing temporally aligned action execution. To fill the missing foundation of dynamic manipulation data, we introduce the Dynamic Object Manipulation (DOM) benchmark, built from scratch with an auto data collection pipeline that efficiently gathers 200K synthetic episodes across 2.8K scenes and 206 objects, and enables fast collection of 2K real-world episodes without teleoperation. Extensive evaluations demonstrate remarkable improvements in response speed, perception, and generalization, positioning DynamicVLA as a unified framework for general dynamic object manipulation across embodiments.