τ_0-WM : un modèle du monde vidéo-action unifié pour la manipulation robotique

Résumé

La manipulation robotique nécessite des modèles capables de générer des actions exécutables tout en anticipant et en évaluant leurs conséquences futures avant leur exécution physique. Nous présentons τ_0-World Model (τ_0-WM), un modèle unifié vidéo-action du monde qui intègre l’apprentissage des politiques, la prédiction vidéo et l’évaluation des actions au sein d’un cadre unique de prédiction du futur. Construit sur une architecture de diffusion vidéo partagée, τ_0-WM offre deux interfaces complémentaires. Premièrement, un modèle d’action vidéo prédit conjointement les latents visuels futurs et des séquences continues d’actions à partir d’observations multi-vues, d’instructions langagières et de l’état du robot. Deuxièmement, un simulateur vidéo conditionné par l’action déroule des séquences d’actions candidates en futurs multi-vues et prédit des scores de progression de tâche denses. Le modèle est entraîné sur environ 27 300 heures de téléopération réelle de robot, d’interactions de style UMI, de vidéos humaines égocentriques, ainsi que de trajectoires de déploiement ou d’échec, en utilisant des masques de supervision spécifiques à chaque modalité. En inférence, τ_0-WM exploite le calcul au moment du test pour échantillonner des actions candidates, les classer par cohérence de re-débruitage, et invoquer une rectification par simulateur pour les candidats de faible qualité. Sur des tâches de manipulation robotique exigeantes, à long horizon et de haute précision, τ_0-WM montre des performances supérieures à celles des autres modèles de référence pertinents.

English

Robotic manipulation requires models that generate executable actions while anticipating and evaluating their future consequences before physical execution. We present τ_0-World Model (τ_0-WM), a unified video-action world model that integrates policy learning, video prediction, and action evaluation within a single future-predictive framework. Built on a shared video diffusion backbone, τ_0-WM provides two complementary interfaces. First, a video action model jointly predicts future visual latents and continuous action chunks from multi-view observations, language instructions, and robot state. Second, an action-conditioned video simulator rolls out candidate action chunks into multi-view futures and predicts dense task-progress scores. The model is trained on approximately 27{,}300 hours of real-robot teleoperation, UMI-style interaction, egocentric human videos, and rollout or failure trajectories using modality-specific supervision masks. At inference time, τ_0-WM uses test-time computation to sample action candidates, rank them with re-denoising consistency, and invoke simulator-based rectification for low-quality candidates. On challenging long-horizon and fine-grained robotic manipulation tasks, τ_0-WM shows superior performance over other relevant baselines.