InstructVideo: Instruindo Modelos de Difusão de Vídeo com Feedback Humano

InstructVideo: Instructing Video Diffusion Models with Human Feedback

December 19, 2023

Autores: Hangjie Yuan, Shiwei Zhang, Xiang Wang, Yujie Wei, Tao Feng, Yining Pan, Yingya Zhang, Ziwei Liu, Samuel Albanie, Dong Ni

cs.AI

Resumo

Os modelos de difusão emergiram como o paradigma de facto para a geração de vídeos. No entanto, sua dependência de dados em escala da web de qualidade variada frequentemente resulta em vídeos visualmente desagradáveis e desalinhados com os prompts textuais. Para resolver esse problema, propomos o InstructVideo, que instrui modelos de difusão texto-para-vídeo com feedback humano por meio de ajuste fino baseado em recompensas. O InstructVideo possui dois componentes principais: 1) Para reduzir o custo do ajuste fino induzido pela geração através da cadeia completa de amostragem DDIM, reformulamos o ajuste fino como uma tarefa de edição. Ao aproveitar o processo de difusão para corromper um vídeo amostrado, o InstructVideo requer apenas inferência parcial da cadeia de amostragem DDIM, reduzindo o custo e melhorando a eficiência do ajuste fino. 2) Para mitigar a ausência de um modelo de recompensa dedicado a vídeos que capture preferências humanas, reutilizamos modelos de recompensa de imagem estabelecidos, como o HPSv2. Para isso, propomos o Segmental Video Reward, um mecanismo que fornece sinais de recompensa com base em amostragem esparsa segmentada, e o Temporally Attenuated Reward, um método que mitiga a degradação da modelagem temporal durante o ajuste fino. Experimentos extensivos, tanto qualitativos quanto quantitativos, validam a praticidade e eficácia do uso de modelos de recompensa de imagem no InstructVideo, melhorando significativamente a qualidade visual dos vídeos gerados sem comprometer as capacidades de generalização. O código e os modelos serão disponibilizados publicamente.

English

Diffusion models have emerged as the de facto paradigm for video generation. However, their reliance on web-scale data of varied quality often yields results that are visually unappealing and misaligned with the textual prompts. To tackle this problem, we propose InstructVideo to instruct text-to-video diffusion models with human feedback by reward fine-tuning. InstructVideo has two key ingredients: 1) To ameliorate the cost of reward fine-tuning induced by generating through the full DDIM sampling chain, we recast reward fine-tuning as editing. By leveraging the diffusion process to corrupt a sampled video, InstructVideo requires only partial inference of the DDIM sampling chain, reducing fine-tuning cost while improving fine-tuning efficiency. 2) To mitigate the absence of a dedicated video reward model for human preferences, we repurpose established image reward models, e.g., HPSv2. To this end, we propose Segmental Video Reward, a mechanism to provide reward signals based on segmental sparse sampling, and Temporally Attenuated Reward, a method that mitigates temporal modeling degradation during fine-tuning. Extensive experiments, both qualitative and quantitative, validate the practicality and efficacy of using image reward models in InstructVideo, significantly enhancing the visual quality of generated videos without compromising generalization capabilities. Code and models will be made publicly available.