Text-to-Sticker: Personalizzazione dello Stile nei Modelli di Diffusione Latente per l'Espressione Umana

Text-to-Sticker: Style Tailoring Latent Diffusion Models for Human Expression

November 17, 2023

Autori: Animesh Sinha, Bo Sun, Anmol Kalia, Arantxa Casanova, Elliot Blanchard, David Yan, Winnie Zhang, Tony Nelli, Jiahui Chen, Hardik Shah, Licheng Yu, Mitesh Kumar Singh, Ankit Ramchandani, Maziar Sanjabi, Sonal Gupta, Amy Bearman, Dhruv Mahajan

cs.AI

Abstract

Introduciamo Style Tailoring, una metodologia per affinare i Modelli di Diffusione Latente (LDMs) in un dominio specifico, garantendo alta qualità visiva, allineamento con i prompt e diversità delle scene. Abbiamo scelto la generazione di immagini di adesivi come dominio target, poiché queste immagini differiscono significativamente dai campioni fotorealistici tipicamente generati da LDMs su larga scala. Partiamo da un modello competente di testo-immagine, come Emu, e dimostriamo che affidarsi all'ingegneria dei prompt con un modello fotorealistico per generare adesivi porta a un scarso allineamento con i prompt e a una limitata diversità delle scene. Per superare questi inconvenienti, iniziamo affinando Emu su milioni di immagini simili ad adesivi raccolte utilizzando una supervisione debole per stimolare la diversità. Successivamente, curiamo dataset di Allineamento e Stile con l'intervento umano (HITL) a partire dalle generazioni del modello, e affiniamo per migliorare rispettivamente l'allineamento con i prompt e l'allineamento stilistico. L'affinamento sequenziale su questi dataset presenta un compromesso tra un migliore allineamento stilistico e i guadagni nell'allineamento con i prompt. Per affrontare questo compromesso, proponiamo un nuovo metodo di affinamento chiamato Style Tailoring, che adatta congiuntamente la distribuzione del contenuto e dello stile, raggiungendo il miglior equilibrio. I risultati di valutazione mostrano che il nostro metodo migliora la qualità visiva del 14%, l'allineamento con i prompt del 16.2% e la diversità delle scene del 15.3%, rispetto all'ingegneria dei prompt applicata al modello base Emu per la generazione di adesivi.

English

We introduce Style Tailoring, a recipe to finetune Latent Diffusion Models (LDMs) in a distinct domain with high visual quality, prompt alignment and scene diversity. We choose sticker image generation as the target domain, as the images significantly differ from photorealistic samples typically generated by large-scale LDMs. We start with a competent text-to-image model, like Emu, and show that relying on prompt engineering with a photorealistic model to generate stickers leads to poor prompt alignment and scene diversity. To overcome these drawbacks, we first finetune Emu on millions of sticker-like images collected using weak supervision to elicit diversity. Next, we curate human-in-the-loop (HITL) Alignment and Style datasets from model generations, and finetune to improve prompt alignment and style alignment respectively. Sequential finetuning on these datasets poses a tradeoff between better style alignment and prompt alignment gains. To address this tradeoff, we propose a novel fine-tuning method called Style Tailoring, which jointly fits the content and style distribution and achieves best tradeoff. Evaluation results show our method improves visual quality by 14%, prompt alignment by 16.2% and scene diversity by 15.3%, compared to prompt engineering the base Emu model for stickers generation.