Dibujando el Futuro (STF): Aplicación de Técnicas de Control Condicional en Modelos de Texto a Video
Sketching the Future (STF): Applying Conditional Control Techniques to Text-to-Video Models
May 10, 2023
Autores: Rohan Dhesikan, Vignesh Rajmohan
cs.AI
Resumen
La proliferación de contenido en video exige enfoques eficientes y flexibles basados en redes neuronales para la generación de nuevo contenido audiovisual. En este artículo, proponemos un método novedoso que combina la generación de texto a video en modo zero-shot con ControlNet para mejorar la salida de estos modelos. Nuestro método toma como entrada múltiples marcos esbozados y genera una salida en video que coincide con el flujo de estos marcos, basándose en la arquitectura Text-to-Video Zero e incorporando ControlNet para habilitar condiciones de entrada adicionales. Al interpolar primero los marcos entre los esbozos de entrada y luego ejecutar Text-to-Video Zero utilizando el video de marcos interpolados como técnica de control, aprovechamos los beneficios tanto de la generación de texto a video en modo zero-shot como del control robusto proporcionado por ControlNet. Los experimentos demuestran que nuestro método sobresale en la producción de contenido en video de alta calidad y notablemente consistente que se alinea con mayor precisión con el movimiento previsto por el usuario para el sujeto dentro del video. Proporcionamos un paquete de recursos completo, que incluye un video de demostración, un sitio web del proyecto, un repositorio de GitHub de código abierto y un entorno de Colab para fomentar la investigación y aplicación adicionales de nuestro método propuesto.
English
The proliferation of video content demands efficient and flexible neural
network based approaches for generating new video content. In this paper, we
propose a novel approach that combines zero-shot text-to-video generation with
ControlNet to improve the output of these models. Our method takes multiple
sketched frames as input and generates video output that matches the flow of
these frames, building upon the Text-to-Video Zero architecture and
incorporating ControlNet to enable additional input conditions. By first
interpolating frames between the inputted sketches and then running
Text-to-Video Zero using the new interpolated frames video as the control
technique, we leverage the benefits of both zero-shot text-to-video generation
and the robust control provided by ControlNet. Experiments demonstrate that our
method excels at producing high-quality and remarkably consistent video content
that more accurately aligns with the user's intended motion for the subject
within the video. We provide a comprehensive resource package, including a demo
video, project website, open-source GitHub repository, and a Colab playground
to foster further research and application of our proposed method.