DomainShuttle: Generación libre de texto a video impulsada por sujetos en dominio abierto

Resumen

La generación de texto a video (S2V) impulsada por sujeto en dominio abierto ha generado un interés significativo en el ámbito académico e industrial. El S2V en dominio abierto implica principalmente dos escenarios: dentro del dominio, que requiere conservar en la mayor medida posible las características del sujeto de referencia, y entre dominios, que preserva las características intrínsecas del sujeto mientras permite que las propiedades no relevantes para el sujeto varíen flexiblemente según la indicación textual. Los métodos existentes se centran principalmente en maximizar la fidelidad del sujeto en escenarios dentro del dominio, lo que limita su capacidad de edición y adaptabilidad en escenarios entre dominios, como nuevos estilos, combinaciones semánticas o atributos de dominio. En este estudio, proponemos que un método S2V ideal debería desplazarse flexiblemente entre diferentes dominios, logrando un rendimiento sólido tanto en escenarios dentro del dominio como entre dominios. Con este fin, presentamos DomainShuttle, que logra alta fidelidad y flexibilidad generativa para la personalización de video en dominio abierto. Específicamente, introducimos Domain-MoT, que desacopla los videos y las características de referencia, e incorpora AdaLN consciente del dominio para el modelado específico del dominio de las imágenes de referencia. Luego, presentamos el esquema Video-Reference DualRoPE, que coloca los tokens de la imagen de referencia y los tokens del video en espacios RoPE separados para permitir un modelado espacial preciso a nivel de sujeto, y la Pérdida de Consistencia entre Pares Cruzados, cuyo objetivo es extraer características intrínsecas del sujeto que no se vean afectadas por características irrelevantes. Experimentos exhaustivos demuestran que DomainShuttle logra mejoras significativas en el rendimiento en comparación con los métodos existentes, mostrando alta fidelidad del sujeto y flexibilidad generativa en diversos escenarios de aplicación de dominio abierto.

English

Open domain subject-driven text-to-video (S2V) generation has drawn significant interest in academia and industry. Open domain S2V mainly involves two scenarios: in-domain, which requires retaining the reference subject features as much as possible, and cross-domain, which preserves the intrinsic features of the subject while allowing subject-irrelevant properties to vary flexibly according to the text prompt. Existing methods primarily focus on maximizing subject fidelity in in-domain scenarios, which limits their editability and adaptability in cross-domain scenarios, such as novel styles, semantic combinations, or domain attributes. In this study, we propose that an ideal S2V method should flexibly shuttle between different domains, achieving strong performance in both in-domain and cross-domain scenarios. To this end, we propose DomainShuttle, which could achieve high fidelity and generative flexibility for open domain video personalization. Specifically, we introduce Domain-MoT, which decouples videos and reference features and introduces the domain-aware AdaLN for domain-specific modeling of reference images. We then introduce the Video-Reference DualRoPE scheme, which places reference image tokens and video tokens in separate RoPE spaces to enable precise subject-level spatial modeling, and Cross-Pair Consistent Loss, which aims to extract intrinsic subject features unaffected by irrelevant features. Extensive experiments demonstrate that DomainShuttle achieves significant performance improvements over existing methods, exhibiting high subject fidelity and generative flexibility across diverse open domain application scenarios.