Be-Your-Outpainter: Meester worden in video-outpainting door input-specifieke aanpassing

Be-Your-Outpainter: Mastering Video Outpainting through Input-Specific Adaptation

March 20, 2024

Auteurs: Fu-Yun Wang, Xiaoshi Wu, Zhaoyang Huang, Xiaoyu Shi, Dazhong Shen, Guanglu Song, Yu Liu, Hongsheng Li

cs.AI

Samenvatting

Video outpainting is een uitdagende taak die gericht is op het genereren van video-inhoud buiten het zichtbare gebied van de invoervideo, waarbij consistentie tussen frames en binnen frames behouden blijft. Bestaande methoden schieten tekort in generatiekwaliteit of flexibiliteit. Wij introduceren MOTIA (Mastering Video Outpainting Through Input-Specific Adaptation), een op diffusie gebaseerde pijplijn die zowel de intrinsieke, data-specifieke patronen van de bronvideo als het generatieve voorafgaande beeld/video gebruikt voor effectieve outpainting. MOTIA bestaat uit twee hoofd fasen: input-specifieke aanpassing en patroonbewuste outpainting. De input-specifieke aanpassingsfase omvat het uitvoeren van efficiënt en effectief pseudo-outpainting leren op de single-shot bronvideo. Dit proces moedigt het model aan om patronen binnen de bronvideo te identificeren en te leren, en om de kloof tussen standaard generatieve processen en outpainting te overbruggen. De daaropvolgende fase, patroonbewuste outpainting, is gewijd aan de generalisatie van deze geleerde patronen om outpainting-resultaten te genereren. Aanvullende strategieën, waaronder ruimtelijk bewuste invoeging en ruisreizen, worden voorgesteld om het generatieve voorafgaande van het diffusiemodel en de verworven videopatronen uit bronvideo's beter te benutten. Uitgebreide evaluaties onderstrepen de superioriteit van MOTIA, die bestaande state-of-the-art methoden overtreft in algemeen erkende benchmarks. Opmerkelijk is dat deze vooruitgangen worden bereikt zonder uitgebreide, taakspecifieke afstemming te vereisen.

English

Video outpainting is a challenging task, aiming at generating video content outside the viewport of the input video while maintaining inter-frame and intra-frame consistency. Existing methods fall short in either generation quality or flexibility. We introduce MOTIA Mastering Video Outpainting Through Input-Specific Adaptation, a diffusion-based pipeline that leverages both the intrinsic data-specific patterns of the source video and the image/video generative prior for effective outpainting. MOTIA comprises two main phases: input-specific adaptation and pattern-aware outpainting. The input-specific adaptation phase involves conducting efficient and effective pseudo outpainting learning on the single-shot source video. This process encourages the model to identify and learn patterns within the source video, as well as bridging the gap between standard generative processes and outpainting. The subsequent phase, pattern-aware outpainting, is dedicated to the generalization of these learned patterns to generate outpainting outcomes. Additional strategies including spatial-aware insertion and noise travel are proposed to better leverage the diffusion model's generative prior and the acquired video patterns from source videos. Extensive evaluations underscore MOTIA's superiority, outperforming existing state-of-the-art methods in widely recognized benchmarks. Notably, these advancements are achieved without necessitating extensive, task-specific tuning.