Modèles de Valeur du Monde pour la Manipulation Robotique

Résumé

Les modèles de valeur généralistes jouent un rôle crucial dans l’apprentissage de politiques robotiques à partir de données à grande échelle et de qualité hétérogène. Mathématiquement, une estimation précise de la valeur exige une compréhension temporelle profonde, obligeant les modèles à ancrer la croyance actuelle dans un contexte historique et à planifier des résultats futurs. Cependant, la plupart des modèles de valeur robotiques existants reposent sur des architectures de modèles vision-langage (VLM) pré-entraînées principalement sur des observations visuelles statiques ou temporellement clairsemées, dépourvues des capacités de modélisation temporelle nécessaires à l’estimation de la valeur. Contrairement aux VLM, les modèles du monde excellent naturellement dans la modélisation temporelle et la planification future, ce qui en fait des fondations idéales pour apprendre des fonctions de valeur généralisables. Forts de cette intuition, nous marions les modèles du monde avec l’estimation de valeur pour construire un nouveau modèle de valeur robotique généraliste, le World Value Model (WVM), qui offre des progressions de tâches précises pour évaluer la qualité des données. Sur les bancs d’essai standard, WVM obtient des résultats de corrélation d’ordre de valeur (VOC) de pointe (SOTA). En complément des suites d’évaluation standard qui ne contiennent que des données expertes, nous introduisons en outre Suboptimal-Value-Bench, un banc d’essai multi-embodiment comprenant 800 trajectoires sous-optimales avec des annotations d’images haute-fidélité labellisées par des humains. Nos évaluations montrent que WVM maintient ses performances de pointe sur Suboptimal-Value-Bench, établissant sa robustesse face aux données expertes et sous-optimales. Lorsqu’il est déployé pour l’apprentissage de politiques, WVM améliore les performances de manipulation à travers diverses approches d’extraction de politiques, tant en simulation que dans le monde réel, offrant un guidage robuste pour l’apprentissage à partir de données de qualité hétérogène.

English

Generalist value models play a pivotal role in scaling robotic policy learning from large-scale, mixed-quality data. Mathematically, accurate value estimation demands deep temporal understanding, requiring models to both ground the current belief using historical context and plan over future outcomes. However, most existing robotic value models are built on Vision-Language Model (VLM) backbones that are pretrained primarily on static or temporally sparse visual observations, lacking the requisite temporal modeling capabilities for value estimation. Unlike VLMs, world models naturally excel at temporal modeling and future planning, making them ideal foundations for learning generalizable value functions. Driven by this insight, we marry world models with value estimation to construct a new generalist robotic value model, World Value Model (WVM), that offers accurate task progressions to assess data quality. On standard benchmarks, WVM delivers state-of-the-art (SOTA) Value-Order Correlation (VOC) results. Complementing standard evaluation suites that contains only expert data, we further introduce Suboptimal-Value-Bench, a multi-embodiment benchmark consisting of 800 suboptimal trajectories with high-fidelity, human-labeled frame annotations. Our evaluations show that WVM maintains its SOTA performance on Suboptimal-Value-Bench, establishing its robustness in handling both expert and suboptimal data. When deployed for policy learning, WVM improves manipulation performance across various policy extraction approaches in both simulated and real-world deployment, providing robust guidance for learning from mixed-quality data.