Geração de Vídeo Controlável de Alta Precisão por meio de Aparência e Contexto de Objetos

Fine-grained Controllable Video Generation via Object Appearance and Context

December 5, 2023

Autores: Hsin-Ping Huang, Yu-Chuan Su, Deqing Sun, Lu Jiang, Xuhui Jia, Yukun Zhu, Ming-Hsuan Yang

cs.AI

Resumo

A geração de texto para vídeo tem demonstrado resultados promissores. No entanto, ao utilizar apenas linguagens naturais como entrada, os usuários frequentemente enfrentam dificuldades em fornecer informações detalhadas para controlar com precisão a saída do modelo. Neste trabalho, propomos a geração de vídeo controlável em nível fino (FACTOR) para alcançar um controle detalhado. Especificamente, o FACTOR visa controlar a aparência e o contexto dos objetos, incluindo sua localização e categoria, em conjunto com o prompt de texto. Para alcançar um controle detalhado, propomos uma estrutura unificada para injetar conjuntamente sinais de controle no modelo existente de texto para vídeo. Nosso modelo consiste em um codificador conjunto e camadas de atenção cruzada adaptativa. Ao otimizar o codificador e a camada inserida, adaptamos o modelo para gerar vídeos alinhados tanto com os prompts de texto quanto com o controle fino. Em comparação com métodos existentes que dependem de sinais de controle densos, como mapas de borda, fornecemos uma interface mais intuitiva e amigável ao usuário para permitir o controle fino em nível de objeto. Nosso método alcança a controlabilidade da aparência dos objetos sem ajuste fino, o que reduz os esforços de otimização por assunto para os usuários. Experimentos extensivos em conjuntos de dados de referência padrão e entradas fornecidas por usuários validam que nosso modelo obtém uma melhoria de 70% nas métricas de controlabilidade em relação às linhas de base competitivas.

English

Text-to-video generation has shown promising results. However, by taking only natural languages as input, users often face difficulties in providing detailed information to precisely control the model's output. In this work, we propose fine-grained controllable video generation (FACTOR) to achieve detailed control. Specifically, FACTOR aims to control objects' appearances and context, including their location and category, in conjunction with the text prompt. To achieve detailed control, we propose a unified framework to jointly inject control signals into the existing text-to-video model. Our model consists of a joint encoder and adaptive cross-attention layers. By optimizing the encoder and the inserted layer, we adapt the model to generate videos that are aligned with both text prompts and fine-grained control. Compared to existing methods relying on dense control signals such as edge maps, we provide a more intuitive and user-friendly interface to allow object-level fine-grained control. Our method achieves controllability of object appearances without finetuning, which reduces the per-subject optimization efforts for the users. Extensive experiments on standard benchmark datasets and user-provided inputs validate that our model obtains a 70% improvement in controllability metrics over competitive baselines.