Modelli Mondiali che Sanno quando non Sanno: Generazione Video Controllabile con Incertezza Calibrata

World Models That Know When They Don't Know: Controllable Video Generation with Calibrated Uncertainty

December 5, 2025

Autori: Zhiting Mei, Tenny Yin, Micah Baker, Ola Shorinwa, Anirudha Majumdar

cs.AI

Abstract

I recenti progressi nei modelli video generativi hanno portato a significative svolte nella sintesi video ad alta fedeltà, in particolare nella generazione video controllabile dove il video generato è condizionato da input testuali e d'azione, ad esempio nell'editing video guidato da istruzioni e nella modellazione del mondo nella robotica. Nonostante queste capacità eccezionali, i modelli video controllabili spesso producono allucinazioni - generando fotogrammi video futuri che non sono allineati con la realtà fisica - il che solleva serie preoccupazioni in molti compiti come la valutazione e la pianificazione delle politiche robotiche. Tuttavia, i modelli video all'avanguardia mancano della capacità di valutare ed esprimere la propria confidenza, ostacolando la mitigazione delle allucinazioni. Per affrontare rigorosamente questa sfida, proponiamo C3, un metodo di quantificazione dell'incertezza (UQ) per addestrare modelli video controllabili calibrati a scala continua per la stima della confidenza densa a livello di sottopatch, localizzando precisamente l'incertezza in ogni fotogramma video generato. Il nostro metodo UQ introduce tre innovazioni fondamentali per permettere ai modelli video di stimare la propria incertezza. In primo luogo, il nostro metodo sviluppa una struttura innovativa che addestra i modelli video per la correttezza e la calibrazione tramite regole di punteggio strettamente proprie. In secondo luogo, stimiamo l'incertezza del modello video nello spazio latente, evitando l'instabilità dell'addestramento e i costi proibitivi associati agli approcci nello spazio dei pixel. In terzo luogo, mappiamo l'incertezza densa dello spazio latente in un'incertezza a livello di pixel interpretabile nello spazio RGB per una visualizzazione intuitiva, fornendo mappe di calore dell'incertezza ad alta risoluzione che identificano le regioni inaffidabili. Attraverso esperimenti approfonditi su dataset su larga scala per l'apprendimento robotico (Bridge e DROID) e valutazioni nel mondo reale, dimostriamo che il nostro metodo non solo fornisce stime dell'incertezza calibrate all'interno della distribuzione di addestramento, ma permette anche un'efficace rilevazione fuori distribuzione.

English

Recent advances in generative video models have led to significant breakthroughs in high-fidelity video synthesis, specifically in controllable video generation where the generated video is conditioned on text and action inputs, e.g., in instruction-guided video editing and world modeling in robotics. Despite these exceptional capabilities, controllable video models often hallucinate - generating future video frames that are misaligned with physical reality - which raises serious concerns in many tasks such as robot policy evaluation and planning. However, state-of-the-art video models lack the ability to assess and express their confidence, impeding hallucination mitigation. To rigorously address this challenge, we propose C3, an uncertainty quantification (UQ) method for training continuous-scale calibrated controllable video models for dense confidence estimation at the subpatch level, precisely localizing the uncertainty in each generated video frame. Our UQ method introduces three core innovations to empower video models to estimate their uncertainty. First, our method develops a novel framework that trains video models for correctness and calibration via strictly proper scoring rules. Second, we estimate the video model's uncertainty in latent space, avoiding training instability and prohibitive training costs associated with pixel-space approaches. Third, we map the dense latent-space uncertainty to interpretable pixel-level uncertainty in the RGB space for intuitive visualization, providing high-resolution uncertainty heatmaps that identify untrustworthy regions. Through extensive experiments on large-scale robot learning datasets (Bridge and DROID) and real-world evaluations, we demonstrate that our method not only provides calibrated uncertainty estimates within the training distribution, but also enables effective out-of-distribution detection.