MIND-V: RL 기반 물리적 정렬을 통한 장기간 로봇 매니픽레이션을 위한 계층적 비디오 생성

초록

신체화 모방 학습은 다양하고 장기적인 로봇 매니휴레이션 데이터의 부족으로 인해 제약을 받습니다. 이 분야의 기존 비디오 생성 모델은 단순한 동작의 짧은 클립 합성에만 그치고 종종 수동으로 정의된 궤적에 의존합니다. 이를 위해 우리는 물리적으로 타당하고 논리적으로 일관된 장기 로봇 매니휴레이션 비디오를 합성하기 위해 설계된 계층적 프레임워크인 MIND-V를 소개합니다. 인지 과학에서 영감을 받은 MIND-V는 세 가지 핵심 구성 요소를 통해 높은 수준의 추론과 픽셀 수준의 합성을 연결합니다: 사전 훈련된 시각-언어 모델을 활용하여 작업 계획을 수립하는 의미론적 추론 허브(SRH), 추상적 지시를 도메인 불변 표현으로 변환하는 행동 의미론적 연결다리(BSB), 조건부 비디오 렌더링을 위한 운동 비디오 생성기(MVG). MIND-V는 장기적 견고성을 향상시키기 위한 테스트 시간 최적화 전략인 단계적 시각적 미래 롤아웃을 사용합니다. 생성된 비디오가 물리 법칙과 일치하도록 하기 위해, 새로운 물리적 예측 일관성(PFC) 보상으로 안내되는 GRPO 강화 학습 사후 훈련 단계를 도입합니다. PFC는 V-JEPA 세계 모델을 활용하여 특징 공간에서 예측된 동적 진화와 실제 동적 진화를 정렬함으로써 물리적 타당성을 강제합니다. MIND-V는 장기 로봇 매니휴레이션 비디오 생성 분야에서 최첨단 성능을 보여주며, 신체화 데이터 합성을 위한 확장 가능하고 제어 가능한 패러다임을 정립합니다.

English

Embodied imitation learning is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video generation models for this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a hierarchical framework designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To align the generated videos with physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA world model to enforce physical plausibility by aligning the predicted and actual dynamic evolutions in the feature space. MIND-V demonstrates state-of-the-art performance in long-horizon robotic manipulation video generation, establishing a scalable and controllable paradigm for embodied data synthesis.

MIND-V: RL 기반 물리적 정렬을 통한 장기간 로봇 매니픽레이션을 위한 계층적 비디오 생성

MIND-V: Hierarchical Video Generation for Long-Horizon Robotic Manipulation with RL-based Physical Alignment

초록

Support