La alucinación en los modelos del mundo es predecible y prevenible

Resumen

Los modelos generativos modernos del mundo generan futuros cada vez más realistas y controlables por acciones, sin embargo, alucinan con frecuencia: las trayectorias generadas se mantienen visualmente fluidas mientras se desvían de la dinámica real. Hipotetizamos que la alucinación se concentra en regiones de baja cobertura del espacio estado-acción, donde señales centradas en datos y ligeras pueden tanto detectarla como guiar su mitigación. Para probar esto, presentamos MMBench2, un conjunto de datos de 427 horas y 210 tareas para el modelado visual del mundo con acciones, recompensas y simuladores en tiempo real verdaderos, y entrenamos en él un modelo del mundo de 350 millones de parámetros. Identificamos tres modos distintos de alucinación: perceptual, marginalizada por acciones y divergente de escena —cada uno anclado a una etapa diferente del proceso— y desarrollamos tres señales que predicen con precisión dónde fallará el modelo. Para cerrar las brechas de cobertura durante el entrenamiento, desarrollamos una técnica de muestreo consciente de la cobertura; para cerrarlas en línea, nuestros predictores de alucinación actúan como recompensas de curiosidad para la recolección dirigida de datos, proporcionando una receta de ajuste fino eficiente en datos que adapta el modelo del mundo preentrenado a entornos completamente nuevos con tan solo 50 trayectorias reales del entorno. En general, nuestros hallazgos revelan que la alucinación en los modelos del mundo es inherentemente un problema de cobertura de datos, y que las mismas señales utilizadas para detectarla también pueden emplearse para su mitigación. Una versión web interactiva de nuestro artículo está disponible en https://www.nicklashansen.com/mmbench2.

English

Modern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging -- each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation. An interactive web version of our paper is available at https://www.nicklashansen.com/mmbench2