MIND-V: Hierarchische Videogenerierung für langfristige Roboter-Manipulation mit RL-basierter physikalischer Ausrichtung
MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment
December 7, 2025
papers.authors: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Zhangrui Guo, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li
cs.AI
papers.abstract
Embodied Imitation Learning wird durch die Knappheit an vielfältigen, langfristigen Robotermanipulationsdaten eingeschränkt. Bestehende Videogenerierungsmodelle für diesen Bereich sind auf die Synthese kurzer Clips mit einfachen Aktionen beschränkt und stützen sich oft auf manuell definierte Trajektorien. Zu diesem Zweck stellen wir MIND-V vor, ein hierarchisches Framework, das entwickelt wurde, um physikalisch plausible und logisch kohärente Videos von langfristiger Robotermanipulation zu synthetisieren. Inspiriert von der Kognitionswissenschaft überbrückt MIND-V High-Level-Reasoning mit Pixel-Level-Synthese durch drei Kernkomponenten: eine Semantic Reasoning Hub (SRH), die ein vortrainiertes Vision-Language-Modell für die Aufgabenplanung nutzt; eine Behavioral Semantic Bridge (BSB), die abstrakte Anweisungen in domäneninvariante Repräsentationen übersetzt; und einen Motor Video Generator (MVG) für die konditionale Videorenderung. MIND-V verwendet Staged Visual Future Rollouts, eine Optimierungsstrategie zur Testzeit, um die Langzeitrobustheit zu verbessern. Um die generierten Videos mit physikalischen Gesetzen in Einklang zu bringen, führen wir eine GRPO-Reinforcement-Learning-Nachtrainierungsphase ein, die durch eine neuartige Physical Foresight Coherence (PFC)-Belohnung gesteuert wird. PFC nutzt das V-JEPA-Weltmodell, um physikalische Plausibilität durch Abgleich der vorhergesagten und tatsächlichen dynamischen Entwicklung im Merkmalraum durchzusetzen. MIND-V demonstriert state-of-the-art Leistung in der Generierung von Robotermanipulationsvideos mit langem Zeithorizont und etabliert ein skalierbares und steuerbares Paradigma für die Synthese embodieder Daten.
English
Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.