ViVa: ロボット強化学習のためのビデオ生成価値モデル

ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

April 9, 2026

著者: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

cs.AI

要旨

視覚言語行動（VLA）モデルは、大規模事前学習を通じてロボットマニピュレーションを進展させてきたが、部分観測性と遅延フィードバックのため、実世界への展開は依然として課題である。強化学習は、タスクの進捗を評価し方針改善を導く価値関数を通じてこの問題に取り組む。しかし、視覚言語モデル（VLM）上に構築された既存の価値モデルは時間的ダイナミクスの捕捉に苦戦し、長期タスクにおける信頼性の高い価値推定を損なう。本論文では、事前学習済みビデオ生成器を価値推定に転用する、ビデオ生成型価値モデルViVaを提案する。ViVaは現在の観測とロボットの固有感覚を入力とし、未来の固有感覚と現在状態のスカラー価値を共同で予測する。事前学習済みビデオ生成器の時空間事前知識を活用することで、本手法は価値推定を予測される身体性ダイナミクスに根ざし、静的なスナップショットを超えて価値と先見性を本質的に結合する。RECAPに統合されたViVaは、実世界の箱組み立てタスクで大幅な改善をもたらす。3つのタスク全体にわたる定性分析は、ViVaがタスクの進捗を正確に反映する、より信頼性の高い価値信号を生成することを確認する。ビデオコーパスからの時空間事前知識を活用することで、ViVaは新規オブジェクトへも一般化し、価値推定におけるビデオ生成モデルの可能性を浮き彫りにする。

English

Vision-language-action (VLA) models have advanced robot manipulation through large-scale pretraining, but real-world deployment remains challenging due to partial observability and delayed feedback. Reinforcement learning addresses this via value functions, which assess task progress and guide policy improvement. However, existing value models built on vision-language models (VLMs) struggle to capture temporal dynamics, undermining reliable value estimation in long-horizon tasks. In this paper, we propose ViVa, a video-generative value model that repurposes a pretrained video generator for value estimation. Taking the current observation and robot proprioception as input, ViVa jointly predicts future proprioception and a scalar value for the current state. By leveraging the spatiotemporal priors of a pretrained video generator, our approach grounds value estimation in anticipated embodiment dynamics, moving beyond static snapshots to intrinsically couple value with foresight. Integrated into RECAP, ViVa delivers substantial improvements on real-world box assembly. Qualitative analysis across all three tasks confirms that ViVa produces more reliable value signals, accurately reflecting task progress. By leveraging spatiotemporal priors from video corpora, ViVa also generalizes to novel objects, highlighting the promise of video-generative models for value estimation.