Schetsen van de Toekomst (STF): Toepassing van Conditionele Controle Technieken op Tekst-naar-Video Modellen

Sketching the Future (STF): Applying Conditional Control Techniques to Text-to-Video Models

May 10, 2023

Auteurs: Rohan Dhesikan, Vignesh Rajmohan

cs.AI

Samenvatting

De proliferatie van video-inhoud vereist efficiënte en flexibele neurale netwerkbenaderingen voor het genereren van nieuwe video-inhoud. In dit artikel stellen we een nieuwe aanpak voor die zero-shot tekst-naar-video-generatie combineert met ControlNet om de output van deze modellen te verbeteren. Onze methode neemt meerdere geschetste frames als input en genereert video-output die overeenkomt met de flow van deze frames, voortbouwend op de Text-to-Video Zero-architectuur en ControlNet integrerend om aanvullende invoervoorwaarden mogelijk te maken. Door eerst frames tussen de ingevoerde schetsen te interpoleren en vervolgens Text-to-Video Zero uit te voeren met de nieuwe geïnterpoleerde frames als controletechniek, benutten we de voordelen van zowel zero-shot tekst-naar-video-generatie als de robuuste controle die ControlNet biedt. Experimenten tonen aan dat onze methode uitblinkt in het produceren van hoogwaardige en opmerkelijk consistente video-inhoud die nauwkeuriger aansluit bij de door de gebruiker beoogde beweging van het onderwerp in de video. We bieden een uitgebreid resourcepakket, inclusief een demovideo, projectwebsite, open-source GitHub-repository en een Colab-speelplaats om verder onderzoek en toepassing van onze voorgestelde methode te bevorderen.

English

The proliferation of video content demands efficient and flexible neural network based approaches for generating new video content. In this paper, we propose a novel approach that combines zero-shot text-to-video generation with ControlNet to improve the output of these models. Our method takes multiple sketched frames as input and generates video output that matches the flow of these frames, building upon the Text-to-Video Zero architecture and incorporating ControlNet to enable additional input conditions. By first interpolating frames between the inputted sketches and then running Text-to-Video Zero using the new interpolated frames video as the control technique, we leverage the benefits of both zero-shot text-to-video generation and the robust control provided by ControlNet. Experiments demonstrate that our method excels at producing high-quality and remarkably consistent video content that more accurately aligns with the user's intended motion for the subject within the video. We provide a comprehensive resource package, including a demo video, project website, open-source GitHub repository, and a Colab playground to foster further research and application of our proposed method.