Wereldwaardemodellen voor Robotmanipulatie

Samenvatting

Algemene waardemodellen spelen een cruciale rol bij het opschalen van robotbeleidsleren op basis van grootschalige data van gemengde kwaliteit. Wiskundig gezien vereist nauwkeurige waardeschatting een diep temporeel begrip, waarbij modellen zowel de huidige overtuiging moeten verankeren met historische context als moeten plannen voor toekomstige uitkomsten. De meeste bestaande robotwaardemodellen zijn echter gebouwd op Vision-Language Model (VLM)-backbones die voornamelijk zijn getraind op statische of temporeel schaarse visuele waarnemingen, en missen de benodigde temporele modelleringscapaciteiten voor waardeschatting. In tegenstelling tot VLM's blinken wereldmodellen van nature uit in temporele modellering en toekomstplanning, waardoor ze ideale basisvormen zijn voor het leren van generaliseerbare waardefuncties. Gedreven door dit inzicht combineren we wereldmodellen met waardeschatting om een nieuw algemeen robotwaardemodel te construeren, het Wereldwaardemodel (WVM), dat nauwkeurige taakvoortgang biedt om datakwaliteit te beoordelen. Op standaard benchmarks levert WVM state-of-the-art (SOTA) Value-Order Correlation (VOC) resultaten. Ter aanvulling op standaard evaluatiesuites die alleen expertdata bevatten, introduceren we verder Suboptimal-Value-Bench, een multi-embodiment benchmark bestaande uit 800 suboptimale trajecten met hooggetrouwe, door mensen gelabelde frame-annotaties. Onze evaluaties tonen aan dat WVM zijn SOTA-prestaties behoudt op Suboptimal-Value-Bench, waarmee het zijn robuustheid bevestigt in het omgaan met zowel expert- als suboptimale data. Wanneer ingezet voor beleidsleren, verbetert WVM de manipulatieprestaties bij verschillende beleidsextractiebenaderingen in zowel gesimuleerde als echte implementaties, en biedt het robuuste begeleiding voor het leren van data van gemengde kwaliteit.

English

Generalist value models play a pivotal role in scaling robotic policy learning from large-scale, mixed-quality data. Mathematically, accurate value estimation demands deep temporal understanding, requiring models to both ground the current belief using historical context and plan over future outcomes. However, most existing robotic value models are built on Vision-Language Model (VLM) backbones that are pretrained primarily on static or temporally sparse visual observations, lacking the requisite temporal modeling capabilities for value estimation. Unlike VLMs, world models naturally excel at temporal modeling and future planning, making them ideal foundations for learning generalizable value functions. Driven by this insight, we marry world models with value estimation to construct a new generalist robotic value model, World Value Model (WVM), that offers accurate task progressions to assess data quality. On standard benchmarks, WVM delivers state-of-the-art (SOTA) Value-Order Correlation (VOC) results. Complementing standard evaluation suites that contains only expert data, we further introduce Suboptimal-Value-Bench, a multi-embodiment benchmark consisting of 800 suboptimal trajectories with high-fidelity, human-labeled frame annotations. Our evaluations show that WVM maintains its SOTA performance on Suboptimal-Value-Bench, establishing its robustness in handling both expert and suboptimal data. When deployed for policy learning, WVM improves manipulation performance across various policy extraction approaches in both simulated and real-world deployment, providing robust guidance for learning from mixed-quality data.