DomainShuttle: Freiform-Offene-Domänen-Subjektgesteuerte Text-zu-Video-Generierung

Zusammenfassung

Open-Domain-subjektgesteuerte Text-zu-Video-Generierung (S2V) hat in Wissenschaft und Industrie großes Interesse geweckt. Open-Domain-S2V umfasst hauptsächlich zwei Szenarien: In-Domain, bei dem die Merkmale des Referenzsubjekts so weit wie möglich erhalten bleiben sollen, und Cross-Domain, bei dem die intrinsischen Merkmale des Subjekts bewahrt werden, während subjektirrelevante Eigenschaften flexibel entsprechend der Textvorgabe variieren können. Bestehende Methoden konzentrieren sich primär auf die Maximierung der Subjekttreue in In-Domain-Szenarien, was ihre Editierbarkeit und Anpassungsfähigkeit in Cross-Domain-Szenarien wie neuartigen Stilen, semantischen Kombinationen oder Domänenattributen einschränkt. In dieser Studie schlagen wir vor, dass eine ideale S2V-Methode flexibel zwischen verschiedenen Domänen pendeln sollte, um sowohl in In-Domain- als auch in Cross-Domain-Szenarien eine starke Leistung zu erzielen. Zu diesem Zweck stellen wir DomainShuttle vor, das eine hohe Treue und generative Flexibilität für die Open-Domain-Videopersonalisierung erreicht. Im Detail führen wir Domain-MoT ein, das Videos und Referenzmerkmale entkoppelt und das domänenbewusste AdaLN für eine domänenspezifische Modellierung von Referenzbildern einführt. Anschließend führen wir das Video-Reference-DualRoPE-Schema ein, das Referenzbild-Tokens und Video-Tokens in separate RoPE-Räume platziert, um eine präzise subjektbezogene räumliche Modellierung zu ermöglichen, sowie den Cross-Pair-Consistent-Loss, der darauf abzielt, intrinsische Subjektmerkmale zu extrahieren, die von irrelevanten Merkmalen unbeeinflusst bleiben. Umfangreiche Experimente zeigen, dass DomainShuttle im Vergleich zu bestehenden Methoden signifikante Leistungsverbesserungen erzielt und eine hohe Subjekttreue und generative Flexibilität in verschiedenen Open-Domain-Anwendungsszenarien aufweist.

English

Open domain subject-driven text-to-video (S2V) generation has drawn significant interest in academia and industry. Open domain S2V mainly involves two scenarios: in-domain, which requires retaining the reference subject features as much as possible, and cross-domain, which preserves the intrinsic features of the subject while allowing subject-irrelevant properties to vary flexibly according to the text prompt. Existing methods primarily focus on maximizing subject fidelity in in-domain scenarios, which limits their editability and adaptability in cross-domain scenarios, such as novel styles, semantic combinations, or domain attributes. In this study, we propose that an ideal S2V method should flexibly shuttle between different domains, achieving strong performance in both in-domain and cross-domain scenarios. To this end, we propose DomainShuttle, which could achieve high fidelity and generative flexibility for open domain video personalization. Specifically, we introduce Domain-MoT, which decouples videos and reference features and introduces the domain-aware AdaLN for domain-specific modeling of reference images. We then introduce the Video-Reference DualRoPE scheme, which places reference image tokens and video tokens in separate RoPE spaces to enable precise subject-level spatial modeling, and Cross-Pair Consistent Loss, which aims to extract intrinsic subject features unaffected by irrelevant features. Extensive experiments demonstrate that DomainShuttle achieves significant performance improvements over existing methods, exhibiting high subject fidelity and generative flexibility across diverse open domain application scenarios.