Wereldmodel voor Robotleren: Een Uitgebreid Overzicht
World Model for Robot Learning: A Comprehensive Survey
April 30, 2026
Auteurs: Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran Geng, Yanjie Ze, Tatsuya Harada, Philip Torr, Oier Mees, Marc Pollefeys, Zhuang Liu, Jiajun Wu, Pieter Abbeel, Jitendra Malik, Yilun Du, Jianfei Yang
cs.AI
Samenvatting
Wereldmodellen, die voorspellende representaties zijn van hoe omgevingen evolueren onder invloed van acties, zijn een centraal onderdeel geworden van robotleren. Ze ondersteunen beleidsleren, planning, simulatie, evaluatie, datageneratie en zijn snel vooruitgegaan met de opkomst van fundatiemodellen en grootschalige videogeneratie. De literatuur blijft echter gefragmenteerd over architecturen, functionele rollen en belichaamde toepassingsdomeinen. Om deze kloof aan te pakken, presenteren we een uitgebreid overzicht van wereldmodellen vanuit een robotleerperspectief. We onderzoeken hoe wereldmodellen worden gekoppeld aan robotbeleid, hoe ze dienen als geleerde simulatoren voor reinforcement learning en evaluatie, en hoe robotische videowereldmodellen zijn voortgeschreden van verbeelding-gebaseerde generatie naar controleerbare, gestructureerde en fundatiemodel-schaalformuleringen. We verbinden deze ideeën verder met navigatie en autonoom rijden, en vatten representatieve datasets, benchmarks en evaluatieprotocollen samen. Over het geheel genomen geeft dit overzicht een systematische bespreking van de snelgroeiende literatuur over wereldmodellen voor robotleren, verduidelijkt het belangrijke paradigma's en toepassingen, en belicht het belangrijke uitdagingen en toekomstige richtingen voor voorspellend modelleren in belichaamde agenten. Om continue toegang tot nieuw opkomende werken, benchmarks en bronnen te vergemakkelijken, zullen we de bijbehorende GitHub-repository bijhouden en regelmatig bijwerken naast dit overzicht.
English
World models, which are predictive representations of how environments evolve under actions, have become a central component of robot learning. They support policy learning, planning, simulation, evaluation, data generation, and have advanced rapidly with the rise of foundation models and large-scale video generation. However, the literature remains fragmented across architectures, functional roles, and embodied application domains. To address this gap, we present a comprehensive review of world models from a robot-learning perspective. We examine how world models are coupled with robot policies, how they serve as learned simulators for reinforcement learning and evaluation, and how robotic video world models have progressed from imagination-based generation to controllable, structured, and foundation-scale formulations. We further connect these ideas to navigation and autonomous driving, and summarize representative datasets, benchmarks, and evaluation protocols. Overall, this survey systematically reviews the rapidly growing literature on world models for robot learning, clarifies key paradigms and applications, and highlights major challenges and future directions for predictive modeling in embodied agents. To facilitate continued access to newly emerging works, benchmarks, and resources, we will maintain and regularly update the accompanying GitHub repository alongside this survey.