Weltmodelle, die wissen, wann sie etwas nicht wissen: Steuerbare Videogenerierung mit kalibrierter Unsicherheit

World Models That Know When They Don't Know: Controllable Video Generation with Calibrated Uncertainty

December 5, 2025

papers.authors: Zhiting Mei, Tenny Yin, Micah Baker, Ola Shorinwa, Anirudha Majumdar

cs.AI

papers.abstract

Jüngste Fortschritte bei generativen Videomodellen haben zu bedeutenden Durchbrüchen in der hochauflösenden Videosynthese geführt, insbesondere bei der kontrollierbaren Videogenerierung, bei der das generierte Video auf Text- und Aktionsinputs konditioniert wird, z.B. bei anweisungsgesteuerter Videobearbeitung und Weltmodellierung in der Robotik. Trotz dieser außergewöhnlichen Fähigkeiten halluzinieren kontrollierbare Videomodelle häufig – sie generieren zukünftige Videobilder, die nicht mit der physikalischen Realität übereinstimmen – was ernste Bedenken bei vielen Aufgaben wie der Bewertung von Robotik-Policies und der Planung aufwirft. Allerdings fehlt es modernsten Videomodellen an der Fähigkeit, ihre eigene Konfidenz zu bewerten und auszudrücken, was die Minderung von Halluzinationen behindert. Um diese Herausforderung rigoros anzugehen, schlagen wir C3 vor, eine Unsicherheitsquantifizierungsmethode (UQ) zum Trainieren von kontinuierlich skalierten, kalibrierten, kontrollierbaren Videomodellen für dichte Konfidenzschätzung auf Subpatch-Ebene, die die Unsicherheit in jedem generierten Videobild präzise lokalisiert. Unsere UQ-Methode führt drei Kerninnovationen ein, um Videomodelle in die Lage zu versetzen, ihre Unsicherheit zu schätzen. Erstens entwickelt unsere Methode einen neuartigen Rahmen, der Videomodelle mittels strikt properer Scoring-Regeln auf Korrektheit und Kalibrierung trainiert. Zweitens schätzen wir die Unsicherheit des Videomodells im latenten Raum, wodurch Trainingsinstabilität und prohibitive Trainingskosten vermieden werden, die mit Pixelraum-Ansätzen verbunden sind. Drittens projizieren wir die dichte Unsicherheit des latenten Raums auf interpretierbare Pixel-Unsicherheit im RGB-Raum zur intuitiven Visualisierung, wodurch hochauflösende Unsicherheits-Hitmaps bereitgestellt werden, die unzuverlässige Regionen identifizieren. Durch umfangreiche Experimente mit groß angelegten Robotik-Lern-Datensätzen (Bridge und DROID) und Evaluationen in realen Szenarien zeigen wir, dass unsere Methode nicht nur kalibrierte Unsicherheitsschätzungen innerhalb der Trainingsverteilung liefert, sondern auch eine effektive Out-of-Distribution-Erkennung ermöglicht.

English

Recent advances in generative video models have led to significant breakthroughs in high-fidelity video synthesis, specifically in controllable video generation where the generated video is conditioned on text and action inputs, e.g., in instruction-guided video editing and world modeling in robotics. Despite these exceptional capabilities, controllable video models often hallucinate - generating future video frames that are misaligned with physical reality - which raises serious concerns in many tasks such as robot policy evaluation and planning. However, state-of-the-art video models lack the ability to assess and express their confidence, impeding hallucination mitigation. To rigorously address this challenge, we propose C3, an uncertainty quantification (UQ) method for training continuous-scale calibrated controllable video models for dense confidence estimation at the subpatch level, precisely localizing the uncertainty in each generated video frame. Our UQ method introduces three core innovations to empower video models to estimate their uncertainty. First, our method develops a novel framework that trains video models for correctness and calibration via strictly proper scoring rules. Second, we estimate the video model's uncertainty in latent space, avoiding training instability and prohibitive training costs associated with pixel-space approaches. Third, we map the dense latent-space uncertainty to interpretable pixel-level uncertainty in the RGB space for intuitive visualization, providing high-resolution uncertainty heatmaps that identify untrustworthy regions. Through extensive experiments on large-scale robot learning datasets (Bridge and DROID) and real-world evaluations, we demonstrate that our method not only provides calibrated uncertainty estimates within the training distribution, but also enables effective out-of-distribution detection.