MIND-V: Hiërarchische Videogeneratie voor Lange-Termijn Robotmanipulatie met RL-gebaseerde Fysieke Afstemming
MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment
December 7, 2025
Auteurs: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Zhangrui Guo, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li
cs.AI
Samenvatting
Belichaamde imitatieleer wordt beperkt door de schaarste aan diverse, langetermijngegevens van robotmanipulatie. Bestaande videogeneratiemodellen voor dit domein zijn beperkt tot het synthetiseren van korte clips van eenvoudige handelingen en vertrouwen vaak op handmatig gedefinieëerde trajecten. Daarom introduceren wij MIND-V, een hiërarchisch raamwerk ontworpen om fysiek plausibele en logisch coherente video's van langetermijnrobotmanipulatie te synthetiseren. Geïnspireerd door de cognitieve wetenschap overbrugt MIND-V hoogwaardige redenering met pixelsynthese via drie kerncomponenten: een Semantisch Redeneercentrum (SRH) dat een vooraf getraind vision-language model benut voor taakplanning; een Gedragssemantische Brug (BSB) die abstracte instructies vertaalt naar domeinonafhankelijke representaties; en een Motorische Videogenerator (MVG) voor conditionele videorendering. MIND-V gebruikt Staged Visual Future Rollouts, een optimalisatiestrategie tijdens tests, om de robuustheid op lange termijn te verbeteren. Om de gegenereerde video's af te stemmen op de natuurwetten, introduceren we een GRPO-versterkingsleer-natrainingsfase geleid door een nieuwe Physical Foresight Coherence (PFC)-beloning. PFC benut het V-JEPA-wereldmodel om fysieke plausibiliteit af te dwingen door de voorspelde en werkelijke dynamische evoluties in de kenmerkruimte op elkaar af te stemmen. MIND-V demonstreert state-of-the-art prestaties in de generatie van video's voor langetermijnrobotmanipulatie, en vestigt zo een schaalbaar en beheersbaar paradigma voor belichaamde gegevenssynthese.
English
Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.