A alucinação em modelos de mundo é previsível e prevenível

Resumo

Modelos geradores de mundo modernos produzem futuros cada vez mais realistas e controláveis por ações, mas frequentemente alucinam: as trajetórias geradas permanecem visualmente fluidas enquanto se desviam da dinâmica real. Nossa hipótese é que a alucinação se concentra em regiões de baixa cobertura do espaço estado-ação, onde sinais leves e centrados em dados podem tanto detectá-la quanto orientar sua mitigação. Para testar essa hipótese, apresentamos o MMBench2, um conjunto de dados de 427 horas e 210 tarefas para modelagem visual de mundo com ações verdadeiras, recompensas e simuladores ao vivo, e treinamos um modelo de mundo com 350 milhões de parâmetros. Identificamos três modos distintos de alucinação: perceptual, marginalizada por ação e divergente de cena — cada um ancorado em uma etapa diferente do pipeline — e desenvolvemos três sinais que preveem com precisão onde o modelo falhará. Para eliminar lacunas de cobertura durante o treinamento, desenvolvemos uma técnica de amostragem consciente da cobertura; para eliminá-las online, nossos preditores de alucinação servem como recompensas de curiosidade para coleta direcionada de dados, resultando em uma receita de ajuste fino eficiente em dados que adapta o modelo de mundo pré-treinado a ambientes totalmente desconhecidos com apenas 50 trajetórias reais do ambiente. No geral, nossas descobertas revelam que a alucinação em modelos de mundo é inerentemente um problema de cobertura de dados, e que os mesmos sinais usados para detectá-la também podem ser usados para mitigação. Uma versão interativa do nosso artigo está disponível em https://www.nicklashansen.com/mmbench2.

English

Modern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging -- each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation. An interactive web version of our paper is available at https://www.nicklashansen.com/mmbench2