Realidade Gerada: Simulação de Mundos Centrada no Humano usando Geração de Vídeo Interativa com Controle Manual e de Câmera

Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control

February 20, 2026

Autores: Linxi Xie, Lisong C. Sun, Ashley Neall, Tong Wu, Shengqu Cai, Gordon Wetzstein

cs.AI

Resumo

A realidade estendida (XR) exige modelos generativos que respondam aos movimentos do mundo real rastreados dos usuários, porém os atuais modelos de vídeo-mundo aceitam apenas sinais de controle grosseiros, como texto ou entrada de teclado, limitando sua utilidade para interação incorporada. Introduzimos um modelo de vídeo-mundo centrado no humano que é condicionado tanto pela pose da cabeça rastreada quanto por poses das mãos a nível articular. Para este fim, avaliamos as estratégias existentes de condicionamento para transformadores de difusão e propomos um mecanismo eficaz para o controle tridimensional da cabeça e das mãos, permitindo interações hábeis mão-objeto. Treinamos um modelo professor de difusão de vídeo bidirecional usando esta estratégia e o destilamos em um sistema causal e interativo que gera ambientes virtuais egocêntricos. Avaliamos este sistema de realidade gerada com sujeitos humanos e demonstramos uma melhoria no desempenho de tarefas, bem como um nível significativamente maior de perceção de controlo sobre as ações realizadas em comparação com linhas de base relevantes.

English

Extended reality (XR) demands generative models that respond to users' tracked real-world motion, yet current video world models accept only coarse control signals such as text or keyboard input, limiting their utility for embodied interaction. We introduce a human-centric video world model that is conditioned on both tracked head pose and joint-level hand poses. For this purpose, we evaluate existing diffusion transformer conditioning strategies and propose an effective mechanism for 3D head and hand control, enabling dexterous hand--object interactions. We train a bidirectional video diffusion model teacher using this strategy and distill it into a causal, interactive system that generates egocentric virtual environments. We evaluate this generated reality system with human subjects and demonstrate improved task performance as well as a significantly higher level of perceived amount of control over the performed actions compared with relevant baselines.