Guia Free^2: Controlo Integral de Caminho sem Gradiente para Melhorar a Geração de Texto para Vídeo com Modelos de Visão-Linguagem Grandes

Free^2Guide: Gradient-Free Path Integral Control for Enhancing Text-to-Video Generation with Large Vision-Language Models

November 26, 2024

Autores: Jaemin Kim, Bryan S Kim, Jong Chul Ye

cs.AI

Resumo

Os modelos de difusão têm alcançado resultados impressionantes em tarefas generativas como síntese de texto para imagem (T2I) e texto para vídeo (T2V). No entanto, alcançar um alinhamento preciso de texto na geração T2V continua sendo desafiador devido à complexa dependência temporal entre frames. Abordagens existentes baseadas em aprendizado por reforço (RL) para aprimorar o alinhamento de texto frequentemente exigem funções de recompensa diferenciáveis ou são limitadas a prompts específicos, dificultando sua escalabilidade e aplicabilidade. Neste artigo, propomos o Free^2Guide, um novo framework livre de gradientes para alinhar vídeos gerados com prompts de texto sem a necessidade de treinamento adicional do modelo. Aproveitando princípios do controle de integral de caminho, o Free^2Guide aproxima orientações para modelos de difusão usando funções de recompensa não diferenciáveis, permitindo assim a integração de poderosos Modelos de Grande Visão-Linguagem (LVLMs) caixa-preta como modelo de recompensa. Além disso, nosso framework suporta o ensemblamento flexível de múltiplos modelos de recompensa, incluindo modelos baseados em imagem em grande escala, para aprimorar sinergicamente o alinhamento sem acarretar sobrecarga computacional substancial. Demonstramos que o Free^2Guide melhora significativamente o alinhamento de texto em várias dimensões e aprimora a qualidade geral dos vídeos gerados.

English

Diffusion models have achieved impressive results in generative tasks like text-to-image (T2I) and text-to-video (T2V) synthesis. However, achieving accurate text alignment in T2V generation remains challenging due to the complex temporal dependency across frames. Existing reinforcement learning (RL)-based approaches to enhance text alignment often require differentiable reward functions or are constrained to limited prompts, hindering their scalability and applicability. In this paper, we propose Free^2Guide, a novel gradient-free framework for aligning generated videos with text prompts without requiring additional model training. Leveraging principles from path integral control, Free^2Guide approximates guidance for diffusion models using non-differentiable reward functions, thereby enabling the integration of powerful black-box Large Vision-Language Models (LVLMs) as reward model. Additionally, our framework supports the flexible ensembling of multiple reward models, including large-scale image-based models, to synergistically enhance alignment without incurring substantial computational overhead. We demonstrate that Free^2Guide significantly improves text alignment across various dimensions and enhances the overall quality of generated videos.