Scaling della Generazione Video da Riferimento Zero-Shot
Scaling Zero-Shot Reference-to-Video Generation
December 7, 2025
Autori: Zijian Zhou, Shikun Liu, Haozhe Liu, Haonan Qiu, Zhaochong An, Weiming Ren, Zhiheng Liu, Xiaoke Huang, Kam Woh Ng, Tian Xie, Xiao Han, Yuren Cong, Hang Li, Chuyan Zhu, Aditya Patel, Tao Xiang, Sen He
cs.AI
Abstract
La generazione da riferimento a video (R2V) mira a sintetizzare video che siano coerenti con un prompt testuale preservando al contempo l'identità del soggetto da immagini di riferimento. Tuttavia, gli attuali metodi R2V sono limitati dalla dipendenza da triplette esplicite immagine-riferimento-video-testo, la cui costruzione è estremamente costosa e difficile da scalare. Noi superiamo questo collo di bottiglia introducendo Saber, un framework zero-shot scalabile che non richiede dati R2V espliciti. Addestrato esclusivamente su coppie video-testo, Saber impiega una strategia di addestramento mascherato e un design modellistico su misura basato su meccanismi di attenzione per apprendere rappresentazioni coerenti con l'identità e consapevoli del riferimento. Tecniche di augmentazione con mascheramento sono ulteriormente integrate per mitigare gli artefatti da copia-incolla comuni nella generazione da riferimento a video. Inoltre, Saber dimostra notevoli capacità di generalizzazione con un numero variabile di riferimenti e raggiunge prestazioni superiori sul benchmark OpenS2V-Eval rispetto a metodi addestrati con dati R2V.
English
Reference-to-video (R2V) generation aims to synthesize videos that align with a text prompt while preserving the subject identity from reference images. However, current R2V methods are hindered by the reliance on explicit reference image-video-text triplets, whose construction is highly expensive and difficult to scale. We bypass this bottleneck by introducing Saber, a scalable zero-shot framework that requires no explicit R2V data. Trained exclusively on video-text pairs, Saber employs a masked training strategy and a tailored attention-based model design to learn identity-consistent and reference-aware representations. Mask augmentation techniques are further integrated to mitigate copy-paste artifacts common in reference-to-video generation. Moreover, Saber demonstrates remarkable generalization capabilities across a varying number of references and achieves superior performance on the OpenS2V-Eval benchmark compared to methods trained with R2V data.