OmniCreator: Zelftoezicht houdende Verenigde Generatie met Universele Bewerking

OmniCreator: Self-Supervised Unified Generation with Universal Editing

December 3, 2024

Auteurs: Haodong Chen, Lan Wang, Harry Yang, Ser-Nam Lim

cs.AI

Samenvatting

We introduceren OmniCreator, een nieuw framework dat tekstgestuurde verenigde (beeld+video) generatie en bewerking kan uitvoeren op één plek. OmniCreator verwerft generatieve en universele bewerkingsmogelijkheden op een zelftoezichtige manier, waarbij originele tekst-video paren als condities worden gebruikt, terwijl dezelfde video als doelwit voor denoising wordt gebruikt om de semantische overeenkomst tussen video en tekst te leren. Tijdens inferentie, wanneer gepresenteerd met een tekstprompt en een video, is OmniCreator in staat om een doelwit te genereren dat trouw is aan beide, waardoor een universeel bewerkingseffect wordt bereikt dat onbeperkt is in tegenstelling tot bestaand bewerkingswerk dat voornamelijk gericht is op bepaalde bewerkingstypen of afhankelijk is van aanvullende controles (bijv. structurele condities, aandachtskenmerken of DDIM-inversie). Aan de andere kant, wanneer alleen gepresenteerd met een tekstprompt, wordt OmniCreator generatief en produceert het hoogwaardige video als resultaat van de geleerde semantische overeenkomst. Belangrijk is dat we hebben vastgesteld dat dezelfde mogelijkheden ook gelden voor afbeeldingen, waardoor OmniCreator een werkelijk verenigd framework is. Verder, vanwege het ontbreken van bestaande generatieve video-bewerkingsbenchmarks, introduceren we de OmniBench-99 dataset, ontworpen om de prestaties van generatieve video-bewerkingsmodellen uitgebreid te evalueren. Uitgebreide experimenten tonen aan dat OmniCreator aanzienlijk superieur is aan alle andere modellen.

English

We introduce OmniCreator, a novel framework that can conduct text-prompted unified (image+video) generation as well as editing all in one place. OmniCreator acquires generative and universal editing capabilities in a self-supervised manner, taking original text-video pairs as conditions while utilizing the same video as a denoising target to learn the semantic correspondence between video and text. During inference, when presented with a text prompt and a video, OmniCreator is capable of generating a target that is faithful to both, achieving a universal editing effect that is unconstrained as opposed to existing editing work that primarily focuses on certain editing types or relies on additional controls (e.g., structural conditions, attention features, or DDIM inversion). On the other hand, when presented with a text prompt only, OmniCreator becomes generative, producing high-quality video as a result of the semantic correspondence learned. Importantly, we found that the same capabilities extend to images as is, making OmniCreator a truly unified framework. Further, due to the lack of existing generative video editing benchmarks, we introduce the OmniBench-99 dataset, designed to evaluate the performance of generative video editing models comprehensively. Extensive experiments demonstrate that OmniCreator exhibits substantial superiority over all other models.