Modelos del Mundo que Saben Cuándo No Saben: Generación de Vídeo Controlable con Incertidumbre Calibrada

World Models That Know When They Don't Know: Controllable Video Generation with Calibrated Uncertainty

December 5, 2025

Autores: Zhiting Mei, Tenny Yin, Micah Baker, Ola Shorinwa, Anirudha Majumdar

cs.AI

Resumen

Los recientes avances en los modelos generativos de video han llevado a avances significativos en la síntesis de video de alta fidelidad, específicamente en la generación de video controlable donde el video generado está condicionado por entradas de texto y acciones, por ejemplo, en la edición de video guiada por instrucciones y el modelado de mundos en robótica. A pesar de estas capacidades excepcionales, los modelos de video controlables a menudo alucinan - generando fotogramas de video futuros que no se alinean con la realidad física - lo que plantea serias preocupaciones en muchas tareas como la evaluación de políticas robóticas y la planificación. Sin embargo, los modelos de video de última generación carecen de la capacidad de evaluar y expresar su confianza, impidiendo la mitigación de las alucinaciones. Para abordar rigurosamente este desafío, proponemos C3, un método de cuantificación de incertidumbre (UQ) para entrenar modelos de video controlables calibrados a escala continua para la estimación de confianza densa a nivel de subparche, localizando con precisión la incertidumbre en cada fotograma de video generado. Nuestro método UQ introduce tres innovaciones centrales para capacitar a los modelos de video para estimar su incertidumbre. Primero, nuestro método desarrolla un marco novedoso que entrena modelos de video para la corrección y la calibración mediante reglas de puntuación estrictamente propias. En segundo lugar, estimamos la incertidumbre del modelo de video en el espacio latente, evitando la inestabilidad en el entrenamiento y los costos prohibitivos asociados con los enfoques en el espacio de píxeles. En tercer lugar, mapeamos la incertidumbre densa del espacio latente a una incertidumbre interpretable a nivel de píxel en el espacio RGB para una visualización intuitiva, proporcionando mapas de calor de incertidumbre de alta resolución que identifican regiones no confiables. A través de extensos experimentos en conjuntos de datos de aprendizaje robótico a gran escala (Bridge y DROID) y evaluaciones en el mundo real, demostramos que nuestro método no solo proporciona estimaciones de incertidumbre calibradas dentro de la distribución de entrenamiento, sino que también permite una detección efectiva fuera de distribución.

English

Recent advances in generative video models have led to significant breakthroughs in high-fidelity video synthesis, specifically in controllable video generation where the generated video is conditioned on text and action inputs, e.g., in instruction-guided video editing and world modeling in robotics. Despite these exceptional capabilities, controllable video models often hallucinate - generating future video frames that are misaligned with physical reality - which raises serious concerns in many tasks such as robot policy evaluation and planning. However, state-of-the-art video models lack the ability to assess and express their confidence, impeding hallucination mitigation. To rigorously address this challenge, we propose C3, an uncertainty quantification (UQ) method for training continuous-scale calibrated controllable video models for dense confidence estimation at the subpatch level, precisely localizing the uncertainty in each generated video frame. Our UQ method introduces three core innovations to empower video models to estimate their uncertainty. First, our method develops a novel framework that trains video models for correctness and calibration via strictly proper scoring rules. Second, we estimate the video model's uncertainty in latent space, avoiding training instability and prohibitive training costs associated with pixel-space approaches. Third, we map the dense latent-space uncertainty to interpretable pixel-level uncertainty in the RGB space for intuitive visualization, providing high-resolution uncertainty heatmaps that identify untrustworthy regions. Through extensive experiments on large-scale robot learning datasets (Bridge and DROID) and real-world evaluations, we demonstrate that our method not only provides calibrated uncertainty estimates within the training distribution, but also enables effective out-of-distribution detection.