DynamicVLA: Un Modello Visione-Linguaggio-Azione per la Manipolazione di Oggetti Dinamici
DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation
January 29, 2026
Autori: Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu
cs.AI
Abstract
La manipolazione di oggetti dinamici rimane una sfida aperta per i modelli Visione-Linguaggio-Azione (VLA), che, nonostante una forte generalizzazione nella manipolazione statica, incontrano difficoltà in scenari dinamici che richiedono percezione rapida, anticipazione temporale e controllo continuo. Presentiamo DynamicVLA, un framework per la manipolazione di oggetti dinamici che integra il ragionamento temporale e l'adattamento a circuito chiuso attraverso tre progetti chiave: 1) un VLA compatto da 0,4 miliardi di parametri che utilizza un encoder visivo convoluzionale per una codifica spazialmente efficiente e strutturalmente fedele, consentendo un'inferenza multimodale veloce; 2) l'Inferenza Continua, che abilita il ragionamento e l'esecuzione sovrapposti per una latenza inferiore e un adattamento tempestivo al movimento dell'oggetto; e 3) lo Streaming di Azioni con Consapevolezza Latente, che colma il divario percezione-esecuzione imponendo un'esecuzione delle azioni temporalmente allineata. Per colmare la carenza di dati fondamentali per la manipolazione dinamica, introduciamo il benchmark Dynamic Object Manipulation (DOM), costruito da zero con una pipeline di raccolta dati automatica che raccoglie efficientemente 200.000 episodi sintetici in 2.800 scene e con 206 oggetti, e consente la rapida raccolta di 2.000 episodi nel mondo reale senza teleoperazione. Valutazioni estensive dimostrano miglioramenti notevoli nella velocità di risposta, nella percezione e nella generalizzazione, posizionando DynamicVLA come un framework unificato per la manipolazione generale di oggetti dinamici across embodiments.
English
Manipulating dynamic objects remains an open challenge for Vision-Language-Action (VLA) models, which, despite strong generalization in static manipulation, struggle in dynamic scenarios requiring rapid perception, temporal anticipation, and continuous control. We present DynamicVLA, a framework for dynamic object manipulation that integrates temporal reasoning and closed-loop adaptation through three key designs: 1) a compact 0.4B VLA using a convolutional vision encoder for spatially efficient, structurally faithful encoding, enabling fast multimodal inference; 2) Continuous Inference, enabling overlapping reasoning and execution for lower latency and timely adaptation to object motion; and 3) Latent-aware Action Streaming, which bridges the perception-execution gap by enforcing temporally aligned action execution. To fill the missing foundation of dynamic manipulation data, we introduce the Dynamic Object Manipulation (DOM) benchmark, built from scratch with an auto data collection pipeline that efficiently gathers 200K synthetic episodes across 2.8K scenes and 206 objects, and enables fast collection of 2K real-world episodes without teleoperation. Extensive evaluations demonstrate remarkable improvements in response speed, perception, and generalization, positioning DynamicVLA as a unified framework for general dynamic object manipulation across embodiments.