Skalierung der Null-Probieren-Referenz-zu-Video-Generierung
Scaling Zero-Shot Reference-to-Video Generation
December 7, 2025
papers.authors: Zijian Zhou, Shikun Liu, Haozhe Liu, Haonan Qiu, Zhaochong An, Weiming Ren, Zhiheng Liu, Xiaoke Huang, Kam Woh Ng, Tian Xie, Xiao Han, Yuren Cong, Hang Li, Chuyan Zhu, Aditya Patel, Tao Xiang, Sen He
cs.AI
papers.abstract
Referenz-zu-Video (R2V)-Generierung zielt darauf ab, Videos zu synthetisieren, die zu einem Textprompt passen und gleichzeitig die Subjektidentität aus Referenzbildern bewahren. Allerdings werden aktuelle R2V-Methoden durch die Abhängigkeit von expliziten Referenzbild-Video-Text-Tripeln behindert, deren Erstellung sehr kostspielig und schwer zu skalieren ist. Wir umgehen diesen Engpass durch die Einführung von Saber, einem skalierbaren Zero-Shot-Framework, das keine expliziten R2V-Daten benötigt. Ausschließlich auf Video-Text-Paaren trainiert, nutzt Saber eine Masked-Training-Strategie und ein maßgeschneidertes, auf Aufmerksamkeit basierendes Modelldesign, um identitätskonsistente und referenzbewusste Repräsentationen zu erlernen. Mask-Augmentierungstechniken werden weiter integriert, um Copy-Paste-Artefakte, die in der Referenz-zu-Video-Generierung häufig auftreten, zu mildern. Darüber hinaus zeigt Saber bemerkenswerte Generalisierungsfähigkeiten über eine variable Anzahl von Referenzen hinweg und erreicht dem OpenS2V-Eval-Benchmark zufolge eine überlegene Leistung im Vergleich zu Methoden, die mit R2V-Daten trainiert wurden.
English
Reference-to-video (R2V) generation aims to synthesize videos that align with a text prompt while preserving the subject identity from reference images. However, current R2V methods are hindered by the reliance on explicit reference image-video-text triplets, whose construction is highly expensive and difficult to scale. We bypass this bottleneck by introducing Saber, a scalable zero-shot framework that requires no explicit R2V data. Trained exclusively on video-text pairs, Saber employs a masked training strategy and a tailored attention-based model design to learn identity-consistent and reference-aware representations. Mask augmentation techniques are further integrated to mitigate copy-paste artifacts common in reference-to-video generation. Moreover, Saber demonstrates remarkable generalization capabilities across a varying number of references and achieves superior performance on the OpenS2V-Eval benchmark compared to methods trained with R2V data.