Halluzination in Weltmodellen ist vorhersagbar und vermeidbar

Zusammenfassung

Moderne generative Weltmodelle erzeugen zunehmend realistische, aktionsgesteuerte Zukünfte, halluzinieren jedoch häufig: Rollouts bleiben visuell flüssig, weichen aber von der tatsächlichen Dynamik ab. Wir stellen die Hypothese auf, dass sich Halluzinationen in Bereichen mit geringer Abdeckung des Zustands-Aktions-Raums konzentrieren, wo leichtgewichtige datenzentrierte Signale sie sowohl erkennen als auch Maßnahmen zur Abschwächung lenken können. Um dies zu testen, führen wir MMBench2 ein, einen 427-stündigen Datensatz mit 210 Aufgaben zur visuellen Weltmodellierung, der Ground-Truth-Aktionen, Belohnungen und Live-Simulatoren umfasst, und trainieren darauf ein Weltmodell mit 350 Millionen Parametern. Wir identifizieren drei verschiedene Halluzinationsmodi: perzeptuell, aktionsmarginalisiert und szenendivergent – jeder an einer anderen Stufe der Pipeline verankert – und entwickeln drei Signale, die genau vorhersagen, wo das Modell versagen wird. Um Abdeckungslücken während des Trainings zu schließen, entwickeln wir eine abdeckungsbewusste Stichprobentechnik; um sie online zu schließen, dienen unsere Halluzinationsvorhersagen als Neugierbelohnungen für gezielte Datensammlung, was ein dateneffizientes Feintuning-Rezept ergibt, das das vortrainierte Weltmodell mit nur 50 echten Umgebungstrajektorien an völlig unbekannte Umgebungen anpasst. Insgesamt zeigen unsere Ergebnisse, dass Halluzinationen in Weltmodellen grundsätzlich ein Problem der Datenabdeckung sind und dass dieselben Signale, die zu ihrer Erkennung verwendet werden, auch zur Abschwächung eingesetzt werden können. Eine interaktive Webversion unseres Artikels ist verfügbar unter https://www.nicklashansen.com/mmbench2.

English

Modern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging -- each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation. An interactive web version of our paper is available at https://www.nicklashansen.com/mmbench2