RL voor Consistentiemodellen: Snellere Beloningsgestuurde Tekst-naar-Beeld Generatie

Samenvatting

Reinforcement learning (RL) heeft het geleide beeldgeneratieproces met diffusiemodellen verbeterd door beloningen die beeldkwaliteit, esthetiek en het volgen van instructies vastleggen, direct te optimaliseren. De resulterende generatieve beleidsmodellen erven echter hetzelfde iteratieve samplingproces van diffusiemodellen, wat tot trage generatie leidt. Om deze beperking te overwinnen, hebben consistentiemodellen voorgesteld om een nieuwe klasse van generatieve modellen te leren die ruis direct naar data afbeelden, wat resulteert in een model dat een beeld in slechts één samplingiteratie kan genereren. In dit werk stellen we, om tekst-naar-beeld generatieve modellen te optimaliseren voor taakspecifieke beloningen en snelle training en inferentie mogelijk te maken, een raamwerk voor voor het finetunen van consistentiemodellen via RL. Ons raamwerk, genaamd Reinforcement Learning for Consistency Model (RLCM), behandelt het iteratieve inferentieproces van een consistentiemodel als een RL-procedure. RLCM verbetert de tekst-naar-beeld generatiecapaciteiten van RL-gefinetunde diffusiemodellen en ruilt rekentijd tijdens inferentie in voor samplekwaliteit. Experimenteel tonen we aan dat RLCM tekst-naar-beeld consistentiemodellen kan aanpassen aan doelstellingen die moeilijk uit te drukken zijn met prompts, zoals beeldcompressibiliteit, en die afgeleid zijn van menselijke feedback, zoals esthetische kwaliteit. In vergelijking met RL-gefinetunde diffusiemodellen, traint RLCM aanzienlijk sneller, verbetert het de kwaliteit van de generatie gemeten onder de beloningsdoelstellingen, en versnelt het het inferentieproces door hoogwaardige beelden te genereren met slechts twee inferentiestappen. Onze code is beschikbaar op https://rlcm.owenoertell.com.

English

Reinforcement learning (RL) has improved guided image generation with diffusion models by directly optimizing rewards that capture image quality, aesthetics, and instruction following capabilities. However, the resulting generative policies inherit the same iterative sampling process of diffusion models that causes slow generation. To overcome this limitation, consistency models proposed learning a new class of generative models that directly map noise to data, resulting in a model that can generate an image in as few as one sampling iteration. In this work, to optimize text-to-image generative models for task specific rewards and enable fast training and inference, we propose a framework for fine-tuning consistency models via RL. Our framework, called Reinforcement Learning for Consistency Model (RLCM), frames the iterative inference process of a consistency model as an RL procedure. RLCM improves upon RL fine-tuned diffusion models on text-to-image generation capabilities and trades computation during inference time for sample quality. Experimentally, we show that RLCM can adapt text-to-image consistency models to objectives that are challenging to express with prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Comparing to RL finetuned diffusion models, RLCM trains significantly faster, improves the quality of the generation measured under the reward objectives, and speeds up the inference procedure by generating high quality images with as few as two inference steps. Our code is available at https://rlcm.owenoertell.com

RL voor Consistentiemodellen: Snellere Beloningsgestuurde Tekst-naar-Beeld Generatie

RL for Consistency Models: Faster Reward Guided Text-to-Image Generation

Samenvatting

Support