OmniTransfer: Estrutura Abrangente para Transferência Espaço-temporal de Vídeo
OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer
January 20, 2026
Autores: Pengze Zhang, Yanze Wu, Mengtian Li, Xu Bai, Songtao Zhao, Fulong Ye, Chong Mou, Xinghui Li, Zhuowei Chen, Qian He, Mingyuan Gao
cs.AI
Resumo
Os vídeos transmitem informações mais ricas do que imagens ou texto, capturando tanto dinâmicas espaciais quanto temporais. No entanto, a maioria dos métodos existentes de personalização de vídeo depende de imagens de referência ou de prévias temporais específicas da tarefa, falhando em explorar plenamente as ricas informações espaço-temporais inerentes aos vídeos, limitando assim a flexibilidade e a generalização na geração de vídeos. Para superar essas limitações, propomos o OmniTransfer, um framework unificado para transferência espaço-temporal de vídeos. Ele aproveita informações multi-visão entre quadros para melhorar a consistência da aparência e explora pistas temporais para permitir um controle temporal refinado. Para unificar várias tarefas de transferência de vídeo, o OmniTransfer incorpora três projetos-chave: Tendência Posicional Consciente da Tarefa, que aproveita adaptativamente as informações do vídeo de referência para melhorar o alinhamento temporal ou a consistência da aparência; Aprendizado Causal com Referência Desacoplada, que separa os ramos de referência e destino para permitir uma transferência de referência precisa enquanto melhora a eficiência; e Alinhamento Multimodal Adaptativo à Tarefa, que usa orientação semântica multimodal para distinguir e abordar dinamicamente diferentes tarefas. Experimentos extensos mostram que o OmniTransfer supera os métodos existentes em transferência de aparência (ID e estilo) e transferência temporal (movimento de câmera e efeitos de vídeo), enquanto equipara métodos guiados por pose na transferência de movimento sem usar pose, estabelecendo um novo paradigma para geração de vídeos flexível e de alta fidelidade.
English
Videos convey richer information than images or text, capturing both spatial and temporal dynamics. However, most existing video customization methods rely on reference images or task-specific temporal priors, failing to fully exploit the rich spatio-temporal information inherent in videos, thereby limiting flexibility and generalization in video generation. To address these limitations, we propose OmniTransfer, a unified framework for spatio-temporal video transfer. It leverages multi-view information across frames to enhance appearance consistency and exploits temporal cues to enable fine-grained temporal control. To unify various video transfer tasks, OmniTransfer incorporates three key designs: Task-aware Positional Bias that adaptively leverages reference video information to improve temporal alignment or appearance consistency; Reference-decoupled Causal Learning separating reference and target branches to enable precise reference transfer while improving efficiency; and Task-adaptive Multimodal Alignment using multimodal semantic guidance to dynamically distinguish and tackle different tasks. Extensive experiments show that OmniTransfer outperforms existing methods in appearance (ID and style) and temporal transfer (camera movement and video effects), while matching pose-guided methods in motion transfer without using pose, establishing a new paradigm for flexible, high-fidelity video generation.