OmniTransfer: Ein All-in-One-Framework für räumlich-zeitlichen Videotransfer

OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer

January 20, 2026

papers.authors: Pengze Zhang, Yanze Wu, Mengtian Li, Xu Bai, Songtao Zhao, Fulong Ye, Chong Mou, Xinghui Li, Zhuowei Chen, Qian He, Mingyuan Gao

cs.AI

papers.abstract

Videos vermitteln umfassendere Informationen als Bilder oder Text, da sie sowohl räumliche als auch zeitliche Dynamiken erfassen. Die meisten bestehenden Videoanpassungsmethoden stützen sich jedoch auf Referenzbilder oder aufgabenspezifische zeitliche Priors, wodurch die inherenten reichhaltigen raumzeitlichen Informationen von Videos nicht vollständig genutzt werden. Dies schränkt die Flexibilität und Generalisierungsfähigkeit bei der Videogenerierung ein. Um diese Einschränkungen zu überwinden, schlagen wir OmniTransfer vor – ein vereinheitlichter Rahmen für raumzeitlichen Videotransfer. Das Verfahren nutzt Multi-View-Informationen über Bildsequenzen hinweg, um die Erscheinungskonsistenz zu verbessern, und erschließt zeitliche Hinweise für eine fein abgestufte zeitliche Steuerung. Zur Vereinheitlichung verschiedener Videotransferaufgaben integriert OmniTransfer drei Schlüsselkomponenten: Task-aware Positional Bias, der Referenzvideoinformationen adaptiv zur Verbesserung der temporalen Ausrichtung oder Erscheinungskonsistenz nutzt; Reference-decoupled Causal Learning, der Referenz- und Zielzweige entkoppelt, um präzisen Referenztransfer bei gesteigerter Effizienz zu ermöglichen; sowie Task-adaptive Multimodal Alignment, der multimodale semantische Guidance zur dynamischen Unterscheidung und Bearbeitung verschiedener Aufgaben einsetzt. Umfangreiche Experimente zeigen, dass OmniTransfer bestehende Methoden bei Erscheinungstransfer (ID und Stil) und temporalem Transfer (Kamerabewegung und Videoeffekte) übertrifft, während es bei Bewegungstransfer ohne Posennutzung posegestützte Methoden erreicht. Damit etabliert es ein neues Paradigma für flexible, hochwertige Videogenerierung.

English

Videos convey richer information than images or text, capturing both spatial and temporal dynamics. However, most existing video customization methods rely on reference images or task-specific temporal priors, failing to fully exploit the rich spatio-temporal information inherent in videos, thereby limiting flexibility and generalization in video generation. To address these limitations, we propose OmniTransfer, a unified framework for spatio-temporal video transfer. It leverages multi-view information across frames to enhance appearance consistency and exploits temporal cues to enable fine-grained temporal control. To unify various video transfer tasks, OmniTransfer incorporates three key designs: Task-aware Positional Bias that adaptively leverages reference video information to improve temporal alignment or appearance consistency; Reference-decoupled Causal Learning separating reference and target branches to enable precise reference transfer while improving efficiency; and Task-adaptive Multimodal Alignment using multimodal semantic guidance to dynamically distinguish and tackle different tasks. Extensive experiments show that OmniTransfer outperforms existing methods in appearance (ID and style) and temporal transfer (camera movement and video effects), while matching pose-guided methods in motion transfer without using pose, establishing a new paradigm for flexible, high-fidelity video generation.