Text-to-Sticker: Adaptação de Estilo em Modelos de Difusão Latente para Expressão Humana

Text-to-Sticker: Style Tailoring Latent Diffusion Models for Human Expression

November 17, 2023

Autores: Animesh Sinha, Bo Sun, Anmol Kalia, Arantxa Casanova, Elliot Blanchard, David Yan, Winnie Zhang, Tony Nelli, Jiahui Chen, Hardik Shah, Licheng Yu, Mitesh Kumar Singh, Ankit Ramchandani, Maziar Sanjabi, Sonal Gupta, Amy Bearman, Dhruv Mahajan

cs.AI

Resumo

Apresentamos o Style Tailoring, uma abordagem para ajustar finamente Modelos de Difusão Latente (LDMs) em um domínio distinto com alta qualidade visual, alinhamento de prompt e diversidade de cenas. Escolhemos a geração de imagens de adesivos como o domínio alvo, pois essas imagens diferem significativamente das amostras fotorrealísticas tipicamente geradas por LDMs em larga escala. Começamos com um modelo competente de texto para imagem, como o Emu, e mostramos que depender da engenharia de prompt com um modelo fotorrealístico para gerar adesivos resulta em um alinhamento de prompt e diversidade de cenas insatisfatórios. Para superar essas limitações, primeiro ajustamos finamente o Emu em milhões de imagens semelhantes a adesivos coletadas usando supervisão fraca para eliciar diversidade. Em seguida, curamos conjuntos de dados de Alinhamento e Estilo com intervenção humana (HITL) a partir de gerações do modelo, e ajustamos finamente para melhorar o alinhamento de prompt e o alinhamento de estilo, respectivamente. O ajuste fino sequencial nesses conjuntos de dados apresenta uma troca entre ganhos de melhor alinhamento de estilo e alinhamento de prompt. Para abordar essa troca, propomos um novo método de ajuste fino chamado Style Tailoring, que ajusta conjuntamente a distribuição de conteúdo e estilo e alcança o melhor equilíbrio. Os resultados de avaliação mostram que nosso método melhora a qualidade visual em 14%, o alinhamento de prompt em 16,2% e a diversidade de cenas em 15,3%, em comparação com a engenharia de prompt do modelo base Emu para geração de adesivos.

English

We introduce Style Tailoring, a recipe to finetune Latent Diffusion Models (LDMs) in a distinct domain with high visual quality, prompt alignment and scene diversity. We choose sticker image generation as the target domain, as the images significantly differ from photorealistic samples typically generated by large-scale LDMs. We start with a competent text-to-image model, like Emu, and show that relying on prompt engineering with a photorealistic model to generate stickers leads to poor prompt alignment and scene diversity. To overcome these drawbacks, we first finetune Emu on millions of sticker-like images collected using weak supervision to elicit diversity. Next, we curate human-in-the-loop (HITL) Alignment and Style datasets from model generations, and finetune to improve prompt alignment and style alignment respectively. Sequential finetuning on these datasets poses a tradeoff between better style alignment and prompt alignment gains. To address this tradeoff, we propose a novel fine-tuning method called Style Tailoring, which jointly fits the content and style distribution and achieves best tradeoff. Evaluation results show our method improves visual quality by 14%, prompt alignment by 16.2% and scene diversity by 15.3%, compared to prompt engineering the base Emu model for stickers generation.