Schaalvergroting van Zero-Shot Referentie-naar-Video Generatie
Scaling Zero-Shot Reference-to-Video Generation
December 7, 2025
Auteurs: Zijian Zhou, Shikun Liu, Haozhe Liu, Haonan Qiu, Zhaochong An, Weiming Ren, Zhiheng Liu, Xiaoke Huang, Kam Woh Ng, Tian Xie, Xiao Han, Yuren Cong, Hang Li, Chuyan Zhu, Aditya Patel, Tao Xiang, Sen He
cs.AI
Samenvatting
Referentie-naar-video (R2V)-generatie heeft als doel video's te synthetiseren die aansluiten bij een tekstprompt, waarbij tegelijkertijd de subjectidentiteit uit referentiebeelden behouden blijft. Huidige R2V-methoden worden echter beperkt door hun afhankelijkheid van expliciete triplets van referentiebeeld-video-tekst, waarvan de constructie zeer kostbaar is en moeilijk op te schalen. Wij omzeilen dit knelpunt door Saber te introduceren, een schaalbare zero-shot framework dat geen expliciete R2V-gegevens vereist. Uitsluitend getraind op video-tekstparen, hanteert Saber een gemaskeerde trainingsstrategie en een op maat gemaakt op aandacht gebaseerd modelontwerp om identiteitsconsistente en referentiebewuste representaties aan te leren. Masker-augmentatietechnieken zijn verder geïntegreerd om copy-paste-artefacten, die veelvoorkomend zijn in referentie-naar-video-generatie, te verminderen. Bovendien toont Saber opmerkelijke generalisatiecapaciteiten over een variërend aantal referenties en behaalt het superieure prestaties op de OpenS2V-Eval benchmark in vergelijking met methoden die met R2V-gegevens zijn getraind.
English
Reference-to-video (R2V) generation aims to synthesize videos that align with a text prompt while preserving the subject identity from reference images. However, current R2V methods are hindered by the reliance on explicit reference image-video-text triplets, whose construction is highly expensive and difficult to scale. We bypass this bottleneck by introducing Saber, a scalable zero-shot framework that requires no explicit R2V data. Trained exclusively on video-text pairs, Saber employs a masked training strategy and a tailored attention-based model design to learn identity-consistent and reference-aware representations. Mask augmentation techniques are further integrated to mitigate copy-paste artifacts common in reference-to-video generation. Moreover, Saber demonstrates remarkable generalization capabilities across a varying number of references and achieves superior performance on the OpenS2V-Eval benchmark compared to methods trained with R2V data.