ViVa: Ein videogeneratives Wertmodell für bestärkendes Lernen bei Robotern
ViVa: A Video-Generative Value Model for Robot Reinforcement Learning
April 9, 2026
Autoren: Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang
cs.AI
Zusammenfassung
Vision-Language-Action (VLA)-Modelle haben die Robotermanipulation durch groß angelegtes Pre-Training vorangetrieben, doch der Einsatz in der realen Welt bleibt aufgrund von Teilbeobachtbarkeit und verzögertem Feedback eine Herausforderung. Reinforcement Learning begegnet diesem Problem mittels Wertfunktionen, die den Aufgabenfortschritt bewerten und die Verbesserung der Policy steuern. Allerdings haben bestehende, auf Vision-Language Models (VLMs) basierende Wertmodelle Schwierigkeiten, zeitliche Dynamiken zu erfassen, was zuverlässige Wertschätzung bei langfristigen Aufgaben untergräbt. In diesem Artikel stellen wir ViVa vor, ein video-generatives Wertmodell, das einen vortrainierten Video-Generator für die Wertschätzung umfunktioniert. ViVa nimmt die aktuelle Beobachtung und die Roboter-Propriozeption als Eingabe und sagt gemeinsam die zukünftige Propriozeption sowie einen skalaren Wert für den aktuellen Zustand vorher. Indem unser Ansatz räumlich-zeitliche A-priori-Informationen eines vortrainierten Video-Generators nutzt, verankert er die Wertschätzung in antizipierten Embodiment-Dynamiken und geht über statische Momentaufnahmen hinaus, um Wert intrinsisch mit Vorausschau zu koppeln. Integriert in RECAP erzielt ViVa erhebliche Verbesserungen bei der Montage von Boxen in der realen Welt. Eine qualitative Analyse über alle drei Aufgaben bestätigt, dass ViVa zuverlässigere Wertsignale erzeugt, die den Aufgabenfortschritt genau widerspiegeln. Durch die Nutzung räumlich-zeitlicher A-priori-Informationen aus Video-Korpora generalisiert ViVa auch auf neue Objekte, was das Potenzial video-generativer Modelle für die Wertschätzung unterstreicht.
English
Vision-language-action (VLA) models have advanced robot manipulation through large-scale pretraining, but real-world deployment remains challenging due to partial observability and delayed feedback. Reinforcement learning addresses this via value functions, which assess task progress and guide policy improvement. However, existing value models built on vision-language models (VLMs) struggle to capture temporal dynamics, undermining reliable value estimation in long-horizon tasks. In this paper, we propose ViVa, a video-generative value model that repurposes a pretrained video generator for value estimation. Taking the current observation and robot proprioception as input, ViVa jointly predicts future proprioception and a scalar value for the current state. By leveraging the spatiotemporal priors of a pretrained video generator, our approach grounds value estimation in anticipated embodiment dynamics, moving beyond static snapshots to intrinsically couple value with foresight. Integrated into RECAP, ViVa delivers substantial improvements on real-world box assembly. Qualitative analysis across all three tasks confirms that ViVa produces more reliable value signals, accurately reflecting task progress. By leveraging spatiotemporal priors from video corpora, ViVa also generalizes to novel objects, highlighting the promise of video-generative models for value estimation.