ViVa: Видеогенеративная модель ценности для обучения с подкреплением в робототехнике
ViVa: A Video-Generative Value Model for Robot Reinforcement Learning
April 9, 2026
Авторы: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang
cs.AI
Аннотация
Модели "зрение-язык-действие" (VLA) значительно продвинули манипуляционные способности роботов благодаря крупномасштабному предварительному обучению, однако развертывание в реальном мире остается сложной задачей из-за частичной наблюдаемости и запаздывающей обратной связи. Обучение с подкреплением решает эту проблему с помощью функций ценности, которые оценивают прогресс задачи и направляют улучшение политики. Однако существующие модели ценности, построенные на основе моделей "зрение-язык" (VLM), плохо улавливают временные динамики, что подрывает надежную оценку ценности в задачах с длительным горизонтом планирования. В данной статье мы предлагаем ViVa — видео-генеративную модель ценности, которая перепрофилирует предварительно обученный генератор видео для оценки ценности. Принимая текущее наблюдение и проприоцепцию робота в качестве входных данных, ViVa совместно предсказывает будущую проприоцепцию и скалярное значение ценности для текущего состояния. Используя пространственно-временные априорные знания предобученного генератора видео, наш подход основывает оценку ценности на предвосхищаемой динамике воплощения, выходя за рамки статических снимков и внутренне связывая ценность с предвидением. Интегрированная в метод RECAP, ViVa демонстрирует существенное улучшение результатов в реальной задаче сборки коробок. Качественный анализ по всем трем задачам подтверждает, что ViVa вырабатывает более надежные сигналы ценности, точно отражающие прогресс задачи. Благодаря использованию пространственно-временных априорных знаний из видеокорпусов, ViVa также обобщается на новые объекты, что подчеркивает перспективность видео-генеративных моделей для оценки ценности.
English
Vision-language-action (VLA) models have advanced robot manipulation through large-scale pretraining, but real-world deployment remains challenging due to partial observability and delayed feedback. Reinforcement learning addresses this via value functions, which assess task progress and guide policy improvement. However, existing value models built on vision-language models (VLMs) struggle to capture temporal dynamics, undermining reliable value estimation in long-horizon tasks. In this paper, we propose ViVa, a video-generative value model that repurposes a pretrained video generator for value estimation. Taking the current observation and robot proprioception as input, ViVa jointly predicts future proprioception and a scalar value for the current state. By leveraging the spatiotemporal priors of a pretrained video generator, our approach grounds value estimation in anticipated embodiment dynamics, moving beyond static snapshots to intrinsically couple value with foresight. Integrated into RECAP, ViVa delivers substantial improvements on real-world box assembly. Qualitative analysis across all three tasks confirms that ViVa produces more reliable value signals, accurately reflecting task progress. By leveraging spatiotemporal priors from video corpora, ViVa also generalizes to novel objects, highlighting the promise of video-generative models for value estimation.