MIND-V: Generación Jerárquica de Vídeo para la Manipulación Robótica de Largo Horizonte con Alineación Física Basada en RL
MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment
December 7, 2025
Autores: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Zhangrui Guo, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li
cs.AI
Resumen
El aprendizaje de imitación corporeizada se ve limitado por la escasez de datos diversos de manipulación robótica de horizonte largo. Los modelos existentes de generación de vídeo para este dominio se limitan a sintetizar clips cortos de acciones simples y a menudo dependen de trayectorias definidas manualmente. Para ello, presentamos MIND-V, un marco jerárquico diseñado para sintetizar vídeos físicamente plausibles y lógicamente coherentes de manipulación robótica de horizonte largo. Inspirado en la ciencia cognitiva, MIND-V conecta el razonamiento de alto nivel con la síntesis a nivel de píxel mediante tres componentes principales: un Centro de Razonamiento Semántico (SRH) que aprovecha un modelo visión-lenguaje preentrenado para la planificación de tareas; un Puente Semántico Conductual (BSB) que traduce instrucciones abstractas en representaciones invariantes al dominio; y un Generador de Vídeo Motor (MVG) para el renderizado condicional de vídeo. MIND-V emplea Despliegues Visuales Futuros Escalonados, una estrategia de optimización en tiempo de prueba para mejorar la robustez de horizonte largo. Para alinear los vídeos generados con las leyes físicas, introducimos una fase de post-entrenamiento por refuerzo GRPO guiada por una nueva recompensa de Coherencia de Previsión Física (PFC). PFC aprovecha el modelo mundial V-JEPA para imponer plausibilidad física alineando las evoluciones dinámicas predichas y reales en el espacio de características. MIND-V demuestra un rendimiento de vanguardia en la generación de vídeos de manipulación robótica de horizonte largo, estableciendo un paradigma escalable y controlable para la síntesis de datos corporeizados.
English
Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.