DynamicVLA: Een Vision-Language-Action Model voor de Manipulatie van Dynamische Objecten
DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation
January 29, 2026
Auteurs: Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu
cs.AI
Samenvatting
Het manipuleren van dynamische objecten blijft een open uitdaging voor Vision-Language-Action (VLA) modellen. Hoewel deze modellen sterke generalisatie vertonen bij statische manipulatie, hebben ze moeite met dynamische scenario's die snelle perceptie, temporele anticipatie en continue controle vereisen. Wij presenteren DynamicVLA, een raamwerk voor het manipuleren van dynamische objecten dat temporeel redeneren en gesloten-lus aanpassing integreert door drie belangrijke ontwerpen: 1) een compact 0.4B VLA met een convolutioneel vision-encoder voor ruimtelijk efficiënte, structureel getrouwe codering, wat snelle multimodale inferentie mogelijk maakt; 2) Continue Inferentie, die overlappend redeneren en uitvoering mogelijk maakt voor lagere latentie en tijdige aanpassing aan objectbeweging; en 3) Latent-aware Actiestreaming, dat de kloof tussen perceptie en uitvoering overbrugt door temporeel uitgelijnde actie-uitvoering af te dwingen. Om het ontbrekende fundament van dynamische manipulatiedata aan te vullen, introduceren we de Dynamic Object Manipulation (DOM) benchmark, volledig opgebouwd met een geautomatiseerde pijplijn voor datacollectie die efficiënt 200K synthetische episodes verzamelt over 2.8K scènes en 206 objecten, en die snelle verzameling van 2K real-world episodes mogelijk maakt zonder teleoperatie. Uitgebreide evaluaties tonen opmerkelijke verbeteringen in reactiesnelheid, perceptie en generalisatie, waardoor DynamicVLA zich positioneert als een uniform raamwerk voor algemene dynamische objectmanipulatie over verschillende embodimenten heen.
English
Manipulating dynamic objects remains an open challenge for Vision-Language-Action (VLA) models, which, despite strong generalization in static manipulation, struggle in dynamic scenarios requiring rapid perception, temporal anticipation, and continuous control. We present DynamicVLA, a framework for dynamic object manipulation that integrates temporal reasoning and closed-loop adaptation through three key designs: 1) a compact 0.4B VLA using a convolutional vision encoder for spatially efficient, structurally faithful encoding, enabling fast multimodal inference; 2) Continuous Inference, enabling overlapping reasoning and execution for lower latency and timely adaptation to object motion; and 3) Latent-aware Action Streaming, which bridges the perception-execution gap by enforcing temporally aligned action execution. To fill the missing foundation of dynamic manipulation data, we introduce the Dynamic Object Manipulation (DOM) benchmark, built from scratch with an auto data collection pipeline that efficiently gathers 200K synthetic episodes across 2.8K scenes and 206 objects, and enables fast collection of 2K real-world episodes without teleoperation. Extensive evaluations demonstrate remarkable improvements in response speed, perception, and generalization, positioning DynamicVLA as a unified framework for general dynamic object manipulation across embodiments.