DomainShuttle : Génération texte-vidéo libre en domaine ouvert guidée par le sujet

Résumé

La génération de texte vers vidéo (S2V) guidée par un sujet en domaine ouvert suscite un intérêt considérable dans les domaines académique et industriel. La S2V en domaine ouvert implique principalement deux scénarios : le scénario intra-domaine, où il s'agit de conserver au maximum les caractéristiques du sujet de référence, et le scénario inter-domaine, qui préserve les caractéristiques intrinsèques du sujet tout en permettant aux propriétés non liées au sujet de varier librement en fonction du texte d'invite. Les méthodes existantes se concentrent essentiellement sur la maximisation de la fidélité au sujet dans les scénarios intra-domaine, ce qui limite leur éditabilité et leur adaptabilité dans les scénarios inter-domaine, tels que les styles novateurs, les combinaisons sémantiques ou les attributs de domaine. Dans cette étude, nous proposons qu'une méthode S2V idéale devrait pouvoir naviguer de manière flexible entre différents domaines, atteignant de hautes performances à la fois dans les scénarios intra-domaine et inter-domaine. À cette fin, nous proposons DomainShuttle, qui permet d'obtenir une grande fidélité et une flexibilité générative pour la personnalisation de vidéos en domaine ouvert. Plus précisément, nous introduisons Domain-MoT, qui dissocie les vidéos et les caractéristiques de référence, et intègre l'AdaLN (Adaptive Layer Normalization) sensible au domaine pour une modélisation spécifique au domaine des images de référence. Nous introduisons ensuite le schéma DualRoPE pour vidéo et référence, qui place les jetons d'image de référence et les jetons vidéo dans des espaces RoPE séparés afin de permettre une modélisation spatiale précise au niveau du sujet, ainsi qu'une perte de cohérence entre paires croisées (Cross-Pair Consistent Loss), visant à extraire les caractéristiques intrinsèques du sujet non affectées par les caractéristiques non pertinentes. Des expériences approfondies montrent que DomainShuttle obtient des améliorations significatives par rapport aux méthodes existantes, faisant preuve d'une grande fidélité au sujet et d'une flexibilité générative dans divers scénarios d'application en domaine ouvert.

English

Open domain subject-driven text-to-video (S2V) generation has drawn significant interest in academia and industry. Open domain S2V mainly involves two scenarios: in-domain, which requires retaining the reference subject features as much as possible, and cross-domain, which preserves the intrinsic features of the subject while allowing subject-irrelevant properties to vary flexibly according to the text prompt. Existing methods primarily focus on maximizing subject fidelity in in-domain scenarios, which limits their editability and adaptability in cross-domain scenarios, such as novel styles, semantic combinations, or domain attributes. In this study, we propose that an ideal S2V method should flexibly shuttle between different domains, achieving strong performance in both in-domain and cross-domain scenarios. To this end, we propose DomainShuttle, which could achieve high fidelity and generative flexibility for open domain video personalization. Specifically, we introduce Domain-MoT, which decouples videos and reference features and introduces the domain-aware AdaLN for domain-specific modeling of reference images. We then introduce the Video-Reference DualRoPE scheme, which places reference image tokens and video tokens in separate RoPE spaces to enable precise subject-level spatial modeling, and Cross-Pair Consistent Loss, which aims to extract intrinsic subject features unaffected by irrelevant features. Extensive experiments demonstrate that DomainShuttle achieves significant performance improvements over existing methods, exhibiting high subject fidelity and generative flexibility across diverse open domain application scenarios.