OmniTransfer: All-in-One Kader voor Spatio-temporele Videotransfer
OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer
January 20, 2026
Auteurs: Pengze Zhang, Yanze Wu, Mengtian Li, Xu Bai, Songtao Zhao, Fulong Ye, Chong Mou, Xinghui Li, Zhuowei Chen, Qian He, Mingyuan Gao
cs.AI
Samenvatting
Video's brengen rijkere informatie over dan afbeeldingen of tekst, doordat ze zowel ruimtelijke als temporele dynamiek vastleggen. De meeste bestaande methoden voor video-aanpassing vertrouwen echter op referentiebeelden of taakspecifieke temporele voorkennis, waardoor de inherente rijkdom aan ruimtelijk-temporele informatie in video's niet volledig wordt benut. Dit beperkt de flexibiliteit en generalisatie van videogeneratie. Om deze beperkingen aan te pakken, presenteren wij OmniTransfer, een uniform raamwerk voor ruimtelijk-temporele videotransfer. Het benut multi-view-informatie over frames heen om de uiterlijke consistentie te verbeteren en gebruikt temporele signalen voor fijnmazige temporele controle. Om diverse videotransfertaken te verenigen, bevat OmniTransfer drie kernontwerpelementen: Taakbewuste Positionele Bias, die referentievideo-informatie adaptief aanwendt om temporele uitlijning of uiterlijke consistentie te verbeteren; Referentie-ontkoppeld Causal Learning, dat referentie- en doeltakken scheidt voor precieze referentie-overdracht met verbeterde efficiëntie; en Taakadaptieve Multimodale Uitlijning, die multimodale semantische richtlijnen gebruikt om verschillende taken dynamisch te onderscheiden en aan te pakken. Uitgebreide experimenten tonen aan dat OmniTransfer superieure prestaties levert bij uiterlijke transfer (ID en stijl) en temporele transfer (camerabeweging en video-effecten), terwijl het pose-geleide methoden evenaart in bewegingsoverdracht zonder poses te gebruiken. Dit vestigt een nieuw paradigma voor flexibele, hoogwaardige videogeneratie.
English
Videos convey richer information than images or text, capturing both spatial and temporal dynamics. However, most existing video customization methods rely on reference images or task-specific temporal priors, failing to fully exploit the rich spatio-temporal information inherent in videos, thereby limiting flexibility and generalization in video generation. To address these limitations, we propose OmniTransfer, a unified framework for spatio-temporal video transfer. It leverages multi-view information across frames to enhance appearance consistency and exploits temporal cues to enable fine-grained temporal control. To unify various video transfer tasks, OmniTransfer incorporates three key designs: Task-aware Positional Bias that adaptively leverages reference video information to improve temporal alignment or appearance consistency; Reference-decoupled Causal Learning separating reference and target branches to enable precise reference transfer while improving efficiency; and Task-adaptive Multimodal Alignment using multimodal semantic guidance to dynamically distinguish and tackle different tasks. Extensive experiments show that OmniTransfer outperforms existing methods in appearance (ID and style) and temporal transfer (camera movement and video effects), while matching pose-guided methods in motion transfer without using pose, establishing a new paradigm for flexible, high-fidelity video generation.