RL per i Modelli di Coerenza: Generazione Guidata da Ricompense più Rapida di Immagini da Testo

Abstract

L'apprendimento per rinforzo (Reinforcement Learning, RL) ha migliorato la generazione guidata di immagini con modelli di diffusione ottimizzando direttamente le ricompense che catturano la qualità dell'immagine, l'estetica e la capacità di seguire istruzioni. Tuttavia, le politiche generative risultanti ereditano lo stesso processo iterativo di campionamento dei modelli di diffusione, che causa una generazione lenta. Per superare questa limitazione, i modelli di consistenza hanno proposto l'apprendimento di una nuova classe di modelli generativi che mappano direttamente il rumore ai dati, ottenendo un modello in grado di generare un'immagine in un numero ridotto di iterazioni di campionamento. In questo lavoro, per ottimizzare i modelli generativi testo-immagine per ricompande specifiche del compito e abilitare un addestramento e un'inferenza veloci, proponiamo un framework per il fine-tuning di modelli di consistenza tramite RL. Il nostro framework, chiamato Reinforcement Learning for Consistency Model (RLCM), inquadra il processo iterativo di inferenza di un modello di consistenza come una procedura RL. RLCM migliora i modelli di diffusione ottimizzati con RL nelle capacità di generazione testo-immagine e bilancia il calcolo durante l'inferenza con la qualità del campione. Sperimentalmente, dimostriamo che RLCM può adattare i modelli di consistenza testo-immagine a obiettivi difficili da esprimere con prompt, come la comprimibilità dell'immagine, e quelli derivati dal feedback umano, come la qualità estetica. Rispetto ai modelli di diffusione ottimizzati con RL, RLCM si addestra in modo significativamente più veloce, migliora la qualità della generazione misurata sotto gli obiettivi di ricompensa e accelera la procedura di inferenza generando immagini di alta qualità con un numero ridotto di passaggi di inferenza. Il nostro codice è disponibile all'indirizzo https://rlcm.owenoertell.com.

English

Reinforcement learning (RL) has improved guided image generation with diffusion models by directly optimizing rewards that capture image quality, aesthetics, and instruction following capabilities. However, the resulting generative policies inherit the same iterative sampling process of diffusion models that causes slow generation. To overcome this limitation, consistency models proposed learning a new class of generative models that directly map noise to data, resulting in a model that can generate an image in as few as one sampling iteration. In this work, to optimize text-to-image generative models for task specific rewards and enable fast training and inference, we propose a framework for fine-tuning consistency models via RL. Our framework, called Reinforcement Learning for Consistency Model (RLCM), frames the iterative inference process of a consistency model as an RL procedure. RLCM improves upon RL fine-tuned diffusion models on text-to-image generation capabilities and trades computation during inference time for sample quality. Experimentally, we show that RLCM can adapt text-to-image consistency models to objectives that are challenging to express with prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Comparing to RL finetuned diffusion models, RLCM trains significantly faster, improves the quality of the generation measured under the reward objectives, and speeds up the inference procedure by generating high quality images with as few as two inference steps. Our code is available at https://rlcm.owenoertell.com

RL per i Modelli di Coerenza: Generazione Guidata da Ricompense più Rapida di Immagini da Testo

RL for Consistency Models: Faster Reward Guided Text-to-Image Generation

Abstract

Support