MIND-V: Geração Hierárquica de Vídeo para Manipulação Robótica de Longo Prazo com Alinhamento Físico Baseado em RL
MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment
December 7, 2025
Autores: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Zhangrui Guo, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li
cs.AI
Resumo
A aprendizagem por imitação incorporada é limitada pela escassez de dados diversos e de longo horizonte sobre manipulação robótica. Os modelos existentes de geração de vídeo para este domínio estão limitados à síntese de clipes curtos de ações simples e frequentemente dependem de trajetórias definidas manualmente. Para tal, apresentamos o MIND-V, uma estrutura hierárquica concebida para sintetizar vídeos fisicamente plausíveis e logicamente coerentes de manipulação robótica de longo horizonte. Inspirado pela ciência cognitiva, o MIND-V liga o raciocínio de alto nível à síntese a nível de pixel através de três componentes principais: um *Semantic Reasoning Hub* (SRH) que aproveita um modelo visão-linguagem pré-treinado para o planeamento de tarefas; uma *Behavioral Semantic Bridge* (BSB) que traduz instruções abstratas em representações invariantes ao domínio; e um *Motor Video Generator* (MVG) para a renderização condicional de vídeo. O MIND-V emprega *Staged Visual Future Rollouts*, uma estratégia de otimização em tempo de teste para melhorar a robustez de longo horizonte. Para alinhar os vídeos gerados com as leis físicas, introduzimos uma fase de pós-treinamento por reforço GRPO guiada por uma nova recompensa *Physical Foresight Coherence* (PFC). A PFC aproveita o modelo mundial V-JEPA para impor plausibilidade física, alinhando as evoluções dinâmicas previstas e reais no espaço de características. O MIND-V demonstra um desempenho de ponta na geração de vídeos de manipulação robótica de longo horizonte, estabelecendo um paradigma escalável e controlável para a síntese de dados incorporados.
English
Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.