ViVa: Um Modelo de Valor Generativo de Vídeo para Aprendizagem por Reforço em Robótica
ViVa: A Video-Generative Value Model for Robot Reinforcement Learning
April 9, 2026
Autores: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang
cs.AI
Resumo
Os modelos visão-linguagem-ação (VLA) têm avançado a manipulação robótica através de pré-treinamento em larga escala, mas a implantação no mundo real permanece desafiadora devido à observabilidade parcial e ao feedback atrasado. O aprendizado por reforço aborda isso através de funções de valor, que avaliam o progresso da tarefa e orientam a melhoria da política. No entanto, os modelos de valor existentes baseados em modelos de visão e linguagem (VLMs) lutam para capturar dinâmicas temporais, prejudicando a estimativa de valor confiável em tarefas de longo horizonte. Neste artigo, propomos ViVa, um modelo de valor video-generativo que reaproveita um gerador de vídeo pré-treinado para estimativa de valor. Tomando a observação atual e a propriocepção do robô como entrada, o ViVa prevê conjuntamente a propriocepção futura e um valor escalar para o estado atual. Ao alavancar os prévios espaço-temporais de um gerador de vídeo pré-treinado, nossa abordagem ancora a estimativa de valor na dinâmica antecipada da corporificação, indo além de instantâneos estáticos para acoplar intrinsecamente valor com previsão. Integrado ao RECAP, o ViVa oferece melhorias substanciais na montagem de caixas no mundo real. A análise qualitativa em todas as três tarefas confirma que o ViVa produz sinais de valor mais confiáveis, refletindo com precisão o progresso da tarefa. Ao aproveitar prévios espaço-temporais de corpora de vídeo, o ViVa também generaliza para novos objetos, destacando a promessa de modelos video-generativos para estimativa de valor.
English
Vision-language-action (VLA) models have advanced robot manipulation through large-scale pretraining, but real-world deployment remains challenging due to partial observability and delayed feedback. Reinforcement learning addresses this via value functions, which assess task progress and guide policy improvement. However, existing value models built on vision-language models (VLMs) struggle to capture temporal dynamics, undermining reliable value estimation in long-horizon tasks. In this paper, we propose ViVa, a video-generative value model that repurposes a pretrained video generator for value estimation. Taking the current observation and robot proprioception as input, ViVa jointly predicts future proprioception and a scalar value for the current state. By leveraging the spatiotemporal priors of a pretrained video generator, our approach grounds value estimation in anticipated embodiment dynamics, moving beyond static snapshots to intrinsically couple value with foresight. Integrated into RECAP, ViVa delivers substantial improvements on real-world box assembly. Qualitative analysis across all three tasks confirms that ViVa produces more reliable value signals, accurately reflecting task progress. By leveraging spatiotemporal priors from video corpora, ViVa also generalizes to novel objects, highlighting the promise of video-generative models for value estimation.