Text-to-Sticker: Stiloptimierung latenter Diffusionsmodelle für menschlichen Ausdruck

Text-to-Sticker: Style Tailoring Latent Diffusion Models for Human Expression

November 17, 2023

Autoren: Animesh Sinha, Bo Sun, Anmol Kalia, Arantxa Casanova, Elliot Blanchard, David Yan, Winnie Zhang, Tony Nelli, Jiahui Chen, Hardik Shah, Licheng Yu, Mitesh Kumar Singh, Ankit Ramchandani, Maziar Sanjabi, Sonal Gupta, Amy Bearman, Dhruv Mahajan

cs.AI

Zusammenfassung

Wir stellen Style Tailoring vor, eine Methode zur Feinabstimmung von Latent Diffusion Models (LDMs) in einem spezifischen Bereich mit hoher visueller Qualität, Prompt-Ausrichtung und Szenenvielfalt. Wir wählen die Erzeugung von Sticker-Bildern als Zielbereich, da sich diese Bilder deutlich von fotorealistischen Beispielen unterscheiden, die typischerweise von großskaligen LDMs generiert werden. Wir beginnen mit einem leistungsfähigen Text-zu-Bild-Modell wie Emu und zeigen, dass die alleinige Verwendung von Prompt-Engineering mit einem fotorealistischen Modell zur Erzeugung von Stickern zu einer schlechten Prompt-Ausrichtung und Szenenvielfalt führt. Um diese Nachteile zu überwinden, passen wir zunächst Emu auf Millionen von stickerähnlichen Bildern an, die mit schwacher Supervision gesammelt wurden, um Vielfalt zu fördern. Anschließend kuratieren wir Human-in-the-Loop (HITL)-Alignment- und Style-Datensätze aus den Modellgenerierungen und führen Feinabstimmungen durch, um die Prompt-Ausrichtung bzw. die Stilausrichtung zu verbessern. Die sequenzielle Feinabstimmung auf diesen Datensätzen stellt einen Kompromiss zwischen besserer Stilausrichtung und Verbesserungen der Prompt-Ausrichtung dar. Um diesen Kompromiss zu adressieren, schlagen wir eine neuartige Feinabstimmungsmethode namens Style Tailoring vor, die die Inhalts- und Stilverteilung gemeinsam anpasst und den besten Kompromiss erreicht. Evaluierungsergebnisse zeigen, dass unsere Methode die visuelle Qualität um 14 %, die Prompt-Ausrichtung um 16,2 % und die Szenenvielfalt um 15,3 % verbessert, verglichen mit dem Prompt-Engineering des Basismodells Emu zur Sticker-Erzeugung.

English

We introduce Style Tailoring, a recipe to finetune Latent Diffusion Models (LDMs) in a distinct domain with high visual quality, prompt alignment and scene diversity. We choose sticker image generation as the target domain, as the images significantly differ from photorealistic samples typically generated by large-scale LDMs. We start with a competent text-to-image model, like Emu, and show that relying on prompt engineering with a photorealistic model to generate stickers leads to poor prompt alignment and scene diversity. To overcome these drawbacks, we first finetune Emu on millions of sticker-like images collected using weak supervision to elicit diversity. Next, we curate human-in-the-loop (HITL) Alignment and Style datasets from model generations, and finetune to improve prompt alignment and style alignment respectively. Sequential finetuning on these datasets poses a tradeoff between better style alignment and prompt alignment gains. To address this tradeoff, we propose a novel fine-tuning method called Style Tailoring, which jointly fits the content and style distribution and achieves best tradeoff. Evaluation results show our method improves visual quality by 14%, prompt alignment by 16.2% and scene diversity by 15.3%, compared to prompt engineering the base Emu model for stickers generation.