MIND-V: Generazione Video Gerarchica per la Manipolazione Robotica a Lungo Orizzonte con Allineamento Fisico Basato su RL
MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment
December 7, 2025
Autori: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Zhangrui Guo, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li
cs.AI
Abstract
L'apprendimento per imitazione incarnato è limitato dalla scarsità di dati diversificati e a lungo orizzonte per la manipolazione robotica. I modelli esistenti di generazione video per questo dominio sono limitati alla sintesi di clip brevi di azioni semplici e spesso si basano su traiettorie definite manualmente. A tal fine, introduciamo MIND-V, un framework gerarchico progettato per sintetizzare video fisicamente plausibili e logicamente coerenti di manipolazione robotica a lungo orizzonte. Ispirato dalle scienze cognitive, MIND-V collega il ragionamento di alto livello con la sintesi a livello di pixel attraverso tre componenti principali: un Semantic Reasoning Hub (SRH) che sfrutta un modello visione-linguaggio pre-addestrato per la pianificazione dei compiti; un Behavioral Semantic Bridge (BSB) che traduce istruzioni astratte in rappresentazioni invarianti al dominio; e un Motor Video Generator (MVG) per il rendering video condizionato. MIND-V impiega Staged Visual Future Rollouts, una strategia di ottimizzazione al momento del test per migliorare la robustezza a lungo orizzonte. Per allineare i video generati con le leggi fisiche, introduciamo una fase di post-addestramento con apprendimento per rinforzo GRPO guidata da una nuova ricompensa di Coerenza di Previsione Fisica (PFC). La PFC sfrutta il modello mondiale V-JEPA per imporre la plausibilità fisica allineando le evoluzioni dinamiche previste e quelle effettive nello spazio delle caratteristiche. MIND-V dimostra prestazioni all'avanguardia nella generazione di video di manipolazione robotica a lungo orizzonte, stabilendo un paradigma scalabile e controllabile per la sintesi di dati incarnati.
English
Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.