OmniCreator : Génération Unifiée Auto-Supervisée avec Édition Universelle

OmniCreator: Self-Supervised Unified Generation with Universal Editing

December 3, 2024

Auteurs: Haodong Chen, Lan Wang, Harry Yang, Ser-Nam Lim

cs.AI

Résumé

Nous présentons OmniCreator, un nouveau cadre qui peut réaliser la génération unifiée (image+vidéo) et l'édition de texte, le tout en un seul endroit. OmniCreator acquiert des capacités génératives et d'édition universelles de manière auto-supervisée, en prenant des paires originales de texte et de vidéo comme conditions tout en utilisant la même vidéo comme cible de débruitage pour apprendre la correspondance sémantique entre la vidéo et le texte. Lors de l'inférence, lorsqu'il est présenté avec un texte et une vidéo, OmniCreator est capable de générer une cible fidèle aux deux, réalisant un effet d'édition universel non contraint par rapport aux travaux d'édition existants qui se concentrent principalement sur certains types d'édition ou qui reposent sur des contrôles supplémentaires (par exemple, conditions structurelles, caractéristiques d'attention, ou inversion DDIM). En revanche, lorsqu'il est présenté uniquement avec un texte, OmniCreator devient génératif, produisant des vidéos de haute qualité en raison de la correspondance sémantique apprise. Importamment, nous avons constaté que ces mêmes capacités s'étendent aux images telles quelles, faisant d'OmniCreator un cadre vraiment unifié. De plus, en raison du manque de référentiels existants pour l'édition générative de vidéos, nous introduisons le jeu de données OmniBench-99, conçu pour évaluer de manière exhaustive les performances des modèles d'édition générative de vidéos. Des expériences approfondies démontrent qu'OmniCreator présente une nette supériorité par rapport à tous les autres modèles.

English

We introduce OmniCreator, a novel framework that can conduct text-prompted unified (image+video) generation as well as editing all in one place. OmniCreator acquires generative and universal editing capabilities in a self-supervised manner, taking original text-video pairs as conditions while utilizing the same video as a denoising target to learn the semantic correspondence between video and text. During inference, when presented with a text prompt and a video, OmniCreator is capable of generating a target that is faithful to both, achieving a universal editing effect that is unconstrained as opposed to existing editing work that primarily focuses on certain editing types or relies on additional controls (e.g., structural conditions, attention features, or DDIM inversion). On the other hand, when presented with a text prompt only, OmniCreator becomes generative, producing high-quality video as a result of the semantic correspondence learned. Importantly, we found that the same capabilities extend to images as is, making OmniCreator a truly unified framework. Further, due to the lack of existing generative video editing benchmarks, we introduce the OmniBench-99 dataset, designed to evaluate the performance of generative video editing models comprehensively. Extensive experiments demonstrate that OmniCreator exhibits substantial superiority over all other models.