MIND-V : Génération hiérarchique de vidéos pour la manipulation robotique à long terme avec alignement physique basé sur l'apprentissage par renforcement
MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment
December 7, 2025
papers.authors: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Zhangrui Guo, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li
cs.AI
papers.abstract
L'apprentissage par imitation incarné est limité par la rareté de données de manipulation robotique diverses et à long horizon. Les modèles existants de génération vidéo pour ce domaine se restreignent à la synthèse de courts clips d'actions simples et reposent souvent sur des trajectoires définies manuellement. Pour pallier cela, nous présentons MIND-V, un cadre hiérarchique conçu pour synthétiser des vidéos de manipulation robotique à long horizon, physiquement plausibles et logiquement cohérentes. Inspiré par les sciences cognitives, MIND-V fait le lien entre le raisonnement de haut niveau et la synthèse au niveau pixel via trois composants centraux : un Centre de Raisonnement Sémantique (CRS) qui exploite un modèle vision-langage pré-entraîné pour la planification de tâches ; un Pont Sémantique Comportemental (PSC) qui traduit les instructions abstraites en représentations invariantes au domaine ; et un Générateur Vidéo Moteur (GVM) pour le rendu vidéo conditionnel. MIND-V utilise la méthode des Prévisions Visuelles Échelonnées, une stratégie d'optimisation au moment du test pour renforcer la robustesse à long horizon. Pour aligner les vidéos générées avec les lois physiques, nous introduisons une phase de post-entraînement par apprentissage par renforcement GRPO guidée par une nouvelle récompense de Cohérence de Prévision Physique (CPP). La CPP exploite le modèle monde V-JEPA pour imposer la plausibilité physique en alignant les évolutions dynamiques prédites et réelles dans l'espace de caractéristiques. MIND-V démontre des performances de pointe dans la génération de vidéos de manipulation robotique à long horizon, établissant un paradigme évolutif et contrôlable pour la synthèse de données incarnées.
English
Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.