Réalité Générée : Simulation du Monde Centrée sur l'Humain par la Génération Interactive de Vidéo avec Contrôle Manuel et Caméra
Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control
February 20, 2026
papers.authors: Linxi Xie, Lisong C. Sun, Ashley Neall, Tong Wu, Shengqu Cai, Gordon Wetzstein
cs.AI
papers.abstract
La réalité étendue (XR) nécessite des modèles génératifs qui répondent aux mouvements du monde réel suivis des utilisateurs. Pourtant, les modèles vidéo mondiaux actuels n'acceptent que des signaux de contrôle grossiers tels que du texte ou une entrée clavier, limitant ainsi leur utilité pour l'interaction incarnée. Nous présentons un modèle vidéo mondial centré sur l'humain qui est conditionné à la fois par la pose de la tête suivie et par les poses des mains au niveau articulaire. À cette fin, nous évaluons les stratégies de conditionnement existantes pour les transformeurs à diffusion et proposons un mécanisme efficace pour le contrôle tridimensionnel de la tête et des mains, permettant des interactions habiles main-objet. Nous entraînons un enseignant modèle de diffusion vidéo bidirectionnel en utilisant cette stratégie et le distillons en un système interactif causal qui génère des environnements virtuels égocentriques. Nous évaluons ce système de réalité générée avec des sujets humains et démontrons une amélioration des performances des tâches ainsi qu'un niveau significativement plus élevé de sentiment de contrôle perçu sur les actions effectuées par rapport à des bases de référence pertinentes.
English
Extended reality (XR) demands generative models that respond to users' tracked real-world motion, yet current video world models accept only coarse control signals such as text or keyboard input, limiting their utility for embodied interaction. We introduce a human-centric video world model that is conditioned on both tracked head pose and joint-level hand poses. For this purpose, we evaluate existing diffusion transformer conditioning strategies and propose an effective mechanism for 3D head and hand control, enabling dexterous hand--object interactions. We train a bidirectional video diffusion model teacher using this strategy and distill it into a causal, interactive system that generates egocentric virtual environments. We evaluate this generated reality system with human subjects and demonstrate improved task performance as well as a significantly higher level of perceived amount of control over the performed actions compared with relevant baselines.