Mise à l'échelle de la génération vidéo de référence sans apprentissage préalable

Scaling Zero-Shot Reference-to-Video Generation

December 7, 2025

papers.authors: Zijian Zhou, Shikun Liu, Haozhe Liu, Haonan Qiu, Zhaochong An, Weiming Ren, Zhiheng Liu, Xiaoke Huang, Kam Woh Ng, Tian Xie, Xiao Han, Yuren Cong, Hang Li, Chuyan Zhu, Aditya Patel, Tao Xiang, Sen He

cs.AI

papers.abstract

La génération de vidéos à partir de références (R2V) vise à synthétiser des vidéos correspondant à une description textuelle tout en préservant l'identité du sujet à partir d'images de référence. Cependant, les méthodes R2V actuelles sont limitées par leur dépendance à des triplets explicites image-vidéo-texte, dont la construction est extrêmement coûteuse et difficile à généraliser. Nous contournons ce goulot d'étranglement en introduisant Saber, un cadre zéro-shot scalable qui ne nécessite aucune donnée R2V explicite. Entraîné exclusivement sur des paires vidéo-texte, Saber utilise une stratégie d'apprentissage par masquage et une conception de modèle basée sur l'attention pour apprendre des représentations cohérentes avec l'identité et conscientes de la référence. Des techniques d'augmentation par masquage sont intégrées pour atténuer les artefacts de copier-coller fréquents dans la génération de vidéos à partir de références. De plus, Saber démontre des capacités de généralisation remarquables avec un nombre variable de références et obtient des performances supérieures sur le benchmark OpenS2V-Eval par rapport aux méthodes entraînées avec des données R2V.

English

Reference-to-video (R2V) generation aims to synthesize videos that align with a text prompt while preserving the subject identity from reference images. However, current R2V methods are hindered by the reliance on explicit reference image-video-text triplets, whose construction is highly expensive and difficult to scale. We bypass this bottleneck by introducing Saber, a scalable zero-shot framework that requires no explicit R2V data. Trained exclusively on video-text pairs, Saber employs a masked training strategy and a tailored attention-based model design to learn identity-consistent and reference-aware representations. Mask augmentation techniques are further integrated to mitigate copy-paste artifacts common in reference-to-video generation. Moreover, Saber demonstrates remarkable generalization capabilities across a varying number of references and achieves superior performance on the OpenS2V-Eval benchmark compared to methods trained with R2V data.