L'hallucination dans les modèles du monde est prévisible et évitable

Résumé

Les modèles génératifs du monde modernes produisent des futurs de plus en plus réalistes et contrôlables par les actions, mais hallucinent fréquemment : les déroulements restent visuellement fluides tout en s'écartant de la dynamique réelle. Nous émettons l'hypothèse que l'hallucination se concentre dans les régions de faible couverture de l'espace état-action, où des signaux légers centrés sur les données peuvent à la fois la détecter et guider son atténuation. Pour tester cela, nous présentons MMBench2, un jeu de données de 427 heures et 210 tâches pour la modélisation visuelle du monde, comprenant des actions, des récompenses et des simulateurs en direct comme référence, et nous y entraînons un modèle de monde de 350 millions de paramètres. Nous identifions trois modes distincts d'hallucination : perceptuel, à action marginalisée et divergent de scène — chacun ancré à une étape différente du pipeline, et nous développons trois signaux qui prédisent avec précision où le modèle échouera. Pour combler les lacunes de couverture en phase d'entraînement, nous développons une technique d'échantillonnage conscient de la couverture ; pour les combler en ligne, nos prédicteurs d'hallucination servent de récompenses de curiosité pour une collecte de données ciblée, donnant lieu à une recette de fine-tuning économe en données qui adapte le modèle de monde pré-entraîné à des environnements entièrement inédits avec aussi peu que 50 trajectoires d'environnement réel. Dans l'ensemble, nos résultats révèlent que l'hallucination dans les modèles de monde est intrinsèquement un problème de couverture des données, et que les mêmes signaux utilisés pour la détecter peuvent également être utilisés pour l'atténuation. Une version web interactive de notre article est disponible à l'adresse https://www.nicklashansen.com/mmbench2

English

Modern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging -- each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation. An interactive web version of our paper is available at https://www.nicklashansen.com/mmbench2