OmniCreator: Selbstüberwachte vereinheitlichte Generierung mit universellem Bearbeiten

OmniCreator: Self-Supervised Unified Generation with Universal Editing

December 3, 2024

Autoren: Haodong Chen, Lan Wang, Harry Yang, Ser-Nam Lim

cs.AI

Zusammenfassung

Wir stellen OmniCreator vor, ein neuartiges Framework, das Text-aufgeforderte vereinheitlichte (Bild+Video)-Generierung sowie Bearbeitung an einem Ort durchführen kann. OmniCreator erwirbt generative und universelle Bearbeitungsfähigkeiten auf selbstüberwachter Weise, indem es originale Text-Video-Paare als Bedingungen verwendet und gleichzeitig dasselbe Video als Rauschunterdrückungsziel nutzt, um die semantische Entsprechung zwischen Video und Text zu erlernen. Während der Inferenz, wenn ein Textprompt und ein Video präsentiert werden, ist OmniCreator in der Lage, ein Ziel zu generieren, das beiden treu ist und einen universellen Bearbeitungseffekt erzielt, der im Gegensatz zu bestehenden Bearbeitungsarbeiten steht, die hauptsächlich auf bestimmte Bearbeitungstypen abzielen oder zusätzliche Steuerungen (z.B. strukturelle Bedingungen, Aufmerksamkeitsmerkmale oder DDIM-Inversion) erfordern. Andererseits wird OmniCreator bei Vorlage eines Textprompts allein generativ und produziert hochwertige Videos als Ergebnis der erlernten semantischen Entsprechung. Es wurde festgestellt, dass diese Fähigkeiten auch auf Bilder übertragen werden können, was OmniCreator zu einem wirklich vereinheitlichten Framework macht. Darüber hinaus, aufgrund des Mangels an bestehenden generativen Video-Bearbeitungs-Benchmarks, stellen wir den OmniBench-99 Datensatz vor, der entworfen wurde, um die Leistung generativer Video-Bearbeitungsmodelle umfassend zu bewerten. Umfangreiche Experimente zeigen, dass OmniCreator eine wesentliche Überlegenheit gegenüber allen anderen Modellen aufweist.

English

We introduce OmniCreator, a novel framework that can conduct text-prompted unified (image+video) generation as well as editing all in one place. OmniCreator acquires generative and universal editing capabilities in a self-supervised manner, taking original text-video pairs as conditions while utilizing the same video as a denoising target to learn the semantic correspondence between video and text. During inference, when presented with a text prompt and a video, OmniCreator is capable of generating a target that is faithful to both, achieving a universal editing effect that is unconstrained as opposed to existing editing work that primarily focuses on certain editing types or relies on additional controls (e.g., structural conditions, attention features, or DDIM inversion). On the other hand, when presented with a text prompt only, OmniCreator becomes generative, producing high-quality video as a result of the semantic correspondence learned. Importantly, we found that the same capabilities extend to images as is, making OmniCreator a truly unified framework. Further, due to the lack of existing generative video editing benchmarks, we introduce the OmniBench-99 dataset, designed to evaluate the performance of generative video editing models comprehensively. Extensive experiments demonstrate that OmniCreator exhibits substantial superiority over all other models.