Масштабирование генерации видео по текстовому описанию в режиме zero-shot

Scaling Zero-Shot Reference-to-Video Generation

December 7, 2025

Авторы: Zijian Zhou, Shikun Liu, Haozhe Liu, Haonan Qiu, Zhaochong An, Weiming Ren, Zhiheng Liu, Xiaoke Huang, Kam Woh Ng, Tian Xie, Xiao Han, Yuren Cong, Hang Li, Chuyan Zhu, Aditya Patel, Tao Xiang, Sen He

cs.AI

Аннотация

Генерация видео по ссылке (Reference-to-video, R2V) направлена на синтез видеороликов, соответствующих текстовому описанию, с сохранением идентичности объекта из референсных изображений. Однако современные методы R2V ограничены зависимостью от явных троек «референсное изображение–видео–текст», создание которых требует значительных затрат и сложно масштабируется. Мы обходим это узкое место, представляя Saber — масштабируемую zero-shot систему, не требующую явных данных R2V. Обучаясь исключительно на парах «видео–текст», Saber использует стратегию маскированного обучения и специализированную архитектуру модели на основе механизма внимания для усвоения идентично-согласованных и референсно-ориентированных представлений. Дополнительно интегрированы методы маскирующей аугментации для снижения артефактов типа «копирование-вставка», характерных для генерации видео по ссылке. Более того, Saber демонстрирует выдающуюся способность к обобщению при различном количестве референсов и превосходит по производительности на benchmark OpenS2V-Eval методы, обученные с данными R2V.

English

Reference-to-video (R2V) generation aims to synthesize videos that align with a text prompt while preserving the subject identity from reference images. However, current R2V methods are hindered by the reliance on explicit reference image-video-text triplets, whose construction is highly expensive and difficult to scale. We bypass this bottleneck by introducing Saber, a scalable zero-shot framework that requires no explicit R2V data. Trained exclusively on video-text pairs, Saber employs a masked training strategy and a tailored attention-based model design to learn identity-consistent and reference-aware representations. Mask augmentation techniques are further integrated to mitigate copy-paste artifacts common in reference-to-video generation. Moreover, Saber demonstrates remarkable generalization capabilities across a varying number of references and achieves superior performance on the OpenS2V-Eval benchmark compared to methods trained with R2V data.