OmniTransfer: Универсальный фреймворк для пространственно-временного переноса в видео

OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer

January 20, 2026

Авторы: Pengze Zhang, Yanze Wu, Mengtian Li, Xu Bai, Songtao Zhao, Fulong Ye, Chong Mou, Xinghui Li, Zhuowei Chen, Qian He, Mingyuan Gao

cs.AI

Аннотация

Видео передают более богатую информацию, чем изображения или текст, фиксируя как пространственные, так и временные динамики. Однако большинство существующих методов настройки видео полагаются на эталонные изображения или специфические временные априорные данные, не позволяя в полной мере использовать присущее видео богатое пространственно-временное информационное содержание, что ограничивает гибкость и обобщающую способность генерации видео. Для преодоления этих ограничений мы предлагаем OmniTransfer — унифицированную структуру для пространственно-временного переноса в видео. Она использует многовидовую информацию между кадрами для повышения согласованности внешнего вида и задействует временные сигналы для обеспечения детального временного контроля. Для унификации различных задач видеопереноса OmniTransfer включает три ключевых компонента: Позиционное смещение с учетом задачи, которое адаптивно использует информацию эталонного видео для улучшения временного выравнивания или согласованности внешнего вида; Разделенное причинно-следственное обучение, разъединяющее эталонную и целевую ветви для точного переноса эталона при повышении эффективности; и Адаптивное мультимодальное согласование, использующее мультимодальные семантические ориентиры для динамического различения и решения различных задач. Многочисленные эксперименты показывают, что OmniTransfer превосходит существующие методы в задачах переноса внешнего вида (ID и стиля) и временного переноса (движение камеры и видеоэффекты), одновременно достигая результатов методов, управляемых позой, в переносе движения без использования данных о позе, устанавливая новую парадигму для гибкой генерации видео с высокой точностью.

English

Videos convey richer information than images or text, capturing both spatial and temporal dynamics. However, most existing video customization methods rely on reference images or task-specific temporal priors, failing to fully exploit the rich spatio-temporal information inherent in videos, thereby limiting flexibility and generalization in video generation. To address these limitations, we propose OmniTransfer, a unified framework for spatio-temporal video transfer. It leverages multi-view information across frames to enhance appearance consistency and exploits temporal cues to enable fine-grained temporal control. To unify various video transfer tasks, OmniTransfer incorporates three key designs: Task-aware Positional Bias that adaptively leverages reference video information to improve temporal alignment or appearance consistency; Reference-decoupled Causal Learning separating reference and target branches to enable precise reference transfer while improving efficiency; and Task-adaptive Multimodal Alignment using multimodal semantic guidance to dynamically distinguish and tackle different tasks. Extensive experiments show that OmniTransfer outperforms existing methods in appearance (ID and style) and temporal transfer (camera movement and video effects), while matching pose-guided methods in motion transfer without using pose, establishing a new paradigm for flexible, high-fidelity video generation.