Disegnare il Futuro (STF): Applicazione di Tecniche di Controllo Condizionale ai Modelli di Testo-Video
Sketching the Future (STF): Applying Conditional Control Techniques to Text-to-Video Models
May 10, 2023
Autori: Rohan Dhesikan, Vignesh Rajmohan
cs.AI
Abstract
La proliferazione di contenuti video richiede approcci basati su reti neurali efficienti e flessibili per la generazione di nuovi contenuti video. In questo articolo, proponiamo un approccio innovativo che combina la generazione zero-shot da testo a video con ControlNet per migliorare l'output di questi modelli. Il nostro metodo prende in input più frame schizzati e genera un output video che corrisponde al flusso di questi frame, basandosi sull'architettura Text-to-Video Zero e incorporando ControlNet per abilitare condizioni di input aggiuntive. Prima interpolando i frame tra gli schizzi forniti e poi eseguendo Text-to-Video Zero utilizzando il video con i nuovi frame interpolati come tecnica di controllo, sfruttiamo i vantaggi sia della generazione zero-shot da testo a video che del robusto controllo fornito da ControlNet. Gli esperimenti dimostrano che il nostro metodo eccelle nella produzione di contenuti video di alta qualità e straordinariamente coerenti che si allineano più accuratamente con il movimento inteso dall'utente per il soggetto all'interno del video. Forniamo un pacchetto di risorse completo, che include un video dimostrativo, un sito web del progetto, un repository GitHub open-source e un playground Colab per favorire ulteriori ricerche e applicazioni del nostro metodo proposto.
English
The proliferation of video content demands efficient and flexible neural
network based approaches for generating new video content. In this paper, we
propose a novel approach that combines zero-shot text-to-video generation with
ControlNet to improve the output of these models. Our method takes multiple
sketched frames as input and generates video output that matches the flow of
these frames, building upon the Text-to-Video Zero architecture and
incorporating ControlNet to enable additional input conditions. By first
interpolating frames between the inputted sketches and then running
Text-to-Video Zero using the new interpolated frames video as the control
technique, we leverage the benefits of both zero-shot text-to-video generation
and the robust control provided by ControlNet. Experiments demonstrate that our
method excels at producing high-quality and remarkably consistent video content
that more accurately aligns with the user's intended motion for the subject
within the video. We provide a comprehensive resource package, including a demo
video, project website, open-source GitHub repository, and a Colab playground
to foster further research and application of our proposed method.