Text-to-Sticker: Stijlafstemming van Latente Diffusiemodellen voor Menselijke Expressie

Text-to-Sticker: Style Tailoring Latent Diffusion Models for Human Expression

November 17, 2023

Auteurs: Animesh Sinha, Bo Sun, Anmol Kalia, Arantxa Casanova, Elliot Blanchard, David Yan, Winnie Zhang, Tony Nelli, Jiahui Chen, Hardik Shah, Licheng Yu, Mitesh Kumar Singh, Ankit Ramchandani, Maziar Sanjabi, Sonal Gupta, Amy Bearman, Dhruv Mahajan

cs.AI

Samenvatting

We introduceren Style Tailoring, een methode om Latent Diffusion Models (LDMs) af te stemmen op een specifiek domein met hoge visuele kwaliteit, promptuitlijning en scènediversiteit. We kiezen voor het genereren van stickerafbeeldingen als het doelgebied, aangezien deze afbeeldingen aanzienlijk verschillen van fotorealistische voorbeelden die doorgaans worden gegenereerd door grootschalige LDMs. We beginnen met een competent tekst-naar-beeldmodel, zoals Emu, en laten zien dat het vertrouwen op promptengineering met een fotorealistisch model om stickers te genereren leidt tot slechte promptuitlijning en scènediversiteit. Om deze nadelen te overwinnen, stemmen we eerst Emu af op miljoenen stickerachtige afbeeldingen die zijn verzameld met behulp van zwakke supervisie om diversiteit te bevorderen. Vervolgens stellen we mens-in-de-lus (HITL) Uitlijnings- en Stijldatasets samen uit modelgeneraties, en stemmen we af om respectievelijk promptuitlijning en stijluitlijning te verbeteren. Sequentieel afstemmen op deze datasets brengt een afweging met zich mee tussen betere stijluitlijning en winst in promptuitlijning. Om deze afweging aan te pakken, stellen we een nieuwe afstemmingsmethode voor genaamd Style Tailoring, die gezamenlijk de inhouds- en stijldistributie aanpast en de beste afweging bereikt. Evaluatieresultaten tonen aan dat onze methode de visuele kwaliteit met 14% verbetert, de promptuitlijning met 16,2% en de scènediversiteit met 15,3%, vergeleken met promptengineering van het basis Emu-model voor stickergeneratie.

English

We introduce Style Tailoring, a recipe to finetune Latent Diffusion Models (LDMs) in a distinct domain with high visual quality, prompt alignment and scene diversity. We choose sticker image generation as the target domain, as the images significantly differ from photorealistic samples typically generated by large-scale LDMs. We start with a competent text-to-image model, like Emu, and show that relying on prompt engineering with a photorealistic model to generate stickers leads to poor prompt alignment and scene diversity. To overcome these drawbacks, we first finetune Emu on millions of sticker-like images collected using weak supervision to elicit diversity. Next, we curate human-in-the-loop (HITL) Alignment and Style datasets from model generations, and finetune to improve prompt alignment and style alignment respectively. Sequential finetuning on these datasets poses a tradeoff between better style alignment and prompt alignment gains. To address this tradeoff, we propose a novel fine-tuning method called Style Tailoring, which jointly fits the content and style distribution and achieves best tradeoff. Evaluation results show our method improves visual quality by 14%, prompt alignment by 16.2% and scene diversity by 15.3%, compared to prompt engineering the base Emu model for stickers generation.