Gegenereerde Realiteit: Mensgerichte Wereldsimulatie met Interactieve Videogeneratie via Hand- en Camerabesturing
Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control
February 20, 2026
Auteurs: Linxi Xie, Lisong C. Sun, Ashley Neall, Tong Wu, Shengqu Cai, Gordon Wetzstein
cs.AI
Samenvatting
Extended reality (XR) vereist generatieve modellen die reageren op de getrackte bewegingen van gebruikers in de echte wereld. Toch accepteren huidige videowereldmodellen alleen grove stuursignalen zoals tekst of toetsenbordinvoer, wat hun bruikbaarheid voor belichaamde interactie beperkt. Wij introduceren een mensgericht videowereldmodel dat wordt gestuurd door zowel getrackte hoofdoriëntatie als handposities op gewrichtsniveau. Hiertoe evalueren we bestaande conditioneringstrategieën voor diffusion transformers en stellen we een effectief mechanisme voor voor 3D-hand- en hoofdsturing, waardoor behendige hand-objectinteracties mogelijk worden. We trainen een bidirectioneel videodiffusiemodel (leraar) met deze strategie en distilleren dit tot een causaal, interactief systeem dat egocentrische virtuele omgevingen genereert. We evalueren dit gegenereerde realiteit-systeem met menselijke proefpersonen en tonen verbeterde taakprestaties aan, evenals een significant hoger niveau van ervaren controle over de uitgevoerde handelingen in vergelijking met relevante baseline-methoden.
English
Extended reality (XR) demands generative models that respond to users' tracked real-world motion, yet current video world models accept only coarse control signals such as text or keyboard input, limiting their utility for embodied interaction. We introduce a human-centric video world model that is conditioned on both tracked head pose and joint-level hand poses. For this purpose, we evaluate existing diffusion transformer conditioning strategies and propose an effective mechanism for 3D head and hand control, enabling dexterous hand--object interactions. We train a bidirectional video diffusion model teacher using this strategy and distill it into a causal, interactive system that generates egocentric virtual environments. We evaluate this generated reality system with human subjects and demonstrate improved task performance as well as a significantly higher level of perceived amount of control over the performed actions compared with relevant baselines.