OmniCreator: Geração Unificada Auto-supervisionada com Edição Universal

OmniCreator: Self-Supervised Unified Generation with Universal Editing

December 3, 2024

Autores: Haodong Chen, Lan Wang, Harry Yang, Ser-Nam Lim

cs.AI

Resumo

Apresentamos o OmniCreator, um novo framework que pode realizar geração unificada (imagem+vídeo) e edição de texto em um único lugar. O OmniCreator adquire capacidades generativas e de edição universais de forma auto-supervisionada, utilizando pares originais de texto-vídeo como condições e empregando o mesmo vídeo como alvo de desruído para aprender a correspondência semântica entre vídeo e texto. Durante a inferência, ao ser apresentado com um texto de orientação e um vídeo, o OmniCreator é capaz de gerar um alvo fiel a ambos, alcançando um efeito de edição universal que é ilimitado em oposição ao trabalho de edição existente que se concentra principalmente em certos tipos de edição ou depende de controles adicionais (por exemplo, condições estruturais, características de atenção ou inversão DDIM). Por outro lado, ao ser apresentado apenas com um texto de orientação, o OmniCreator se torna generativo, produzindo vídeos de alta qualidade como resultado da correspondência semântica aprendida. Importante ressaltar que as mesmas capacidades se estendem a imagens tal como são, tornando o OmniCreator um framework verdadeiramente unificado. Além disso, devido à falta de benchmarks existentes para edição generativa de vídeo, introduzimos o conjunto de dados OmniBench-99, projetado para avaliar o desempenho de modelos de edição generativa de vídeo de forma abrangente. Experimentos extensivos demonstram que o OmniCreator exibe uma superioridade substancial sobre todos os outros modelos.

English

We introduce OmniCreator, a novel framework that can conduct text-prompted unified (image+video) generation as well as editing all in one place. OmniCreator acquires generative and universal editing capabilities in a self-supervised manner, taking original text-video pairs as conditions while utilizing the same video as a denoising target to learn the semantic correspondence between video and text. During inference, when presented with a text prompt and a video, OmniCreator is capable of generating a target that is faithful to both, achieving a universal editing effect that is unconstrained as opposed to existing editing work that primarily focuses on certain editing types or relies on additional controls (e.g., structural conditions, attention features, or DDIM inversion). On the other hand, when presented with a text prompt only, OmniCreator becomes generative, producing high-quality video as a result of the semantic correspondence learned. Importantly, we found that the same capabilities extend to images as is, making OmniCreator a truly unified framework. Further, due to the lack of existing generative video editing benchmarks, we introduce the OmniBench-99 dataset, designed to evaluate the performance of generative video editing models comprehensively. Extensive experiments demonstrate that OmniCreator exhibits substantial superiority over all other models.