텍스트-투-스티커: 인간의 표현을 위한 스타일 맞춤형 잠재 확산 모델

Text-to-Sticker: Style Tailoring Latent Diffusion Models for Human Expression

November 17, 2023

저자: Animesh Sinha, Bo Sun, Anmol Kalia, Arantxa Casanova, Elliot Blanchard, David Yan, Winnie Zhang, Tony Nelli, Jiahui Chen, Hardik Shah, Licheng Yu, Mitesh Kumar Singh, Ankit Ramchandani, Maziar Sanjabi, Sonal Gupta, Amy Bearman, Dhruv Mahajan

cs.AI

초록

우리는 고도의 시각적 품질, 프롬프트 정렬 및 장면 다양성을 갖춘 특정 도메인에서 Latent Diffusion Models(LDMs)를 미세 조정하는 방법인 Style Tailoring을 소개합니다. 스티커 이미지 생성을 타겟 도메인으로 선택한 이유는, 대규모 LDMs가 일반적으로 생성하는 사실적인 샘플과 크게 다른 이미지이기 때문입니다. 우리는 Emu와 같은 유능한 텍스트-이미지 모델을 시작점으로 삼아, 사실적인 모델에 프롬프트 엔지니어링을 의존해 스티커를 생성할 경우 프롬프트 정렬과 장면 다양성이 저하됨을 보여줍니다. 이러한 단점을 극복하기 위해, 먼저 약한 감독을 통해 수집된 수백만 개의 스티커 형식 이미지로 Emu를 미세 조정하여 다양성을 유도합니다. 다음으로, 모델 생성물에서 인간 참여형(HITL) 정렬 및 스타일 데이터셋을 선별하고, 각각 프롬프트 정렬과 스타일 정렬을 개선하기 위해 미세 조정을 수행합니다. 이러한 데이터셋에 대한 순차적 미세 조정은 더 나은 스타일 정렬과 프롬프트 정렬 향상 사이의 트레이드오프를 야기합니다. 이 트레이드오프를 해결하기 위해, 우리는 콘텐츠와 스타일 분포를 공동으로 맞추어 최적의 트레이드오프를 달성하는 새로운 미세 조정 방법인 Style Tailoring을 제안합니다. 평가 결과는 우리의 방법이 기본 Emu 모델에 프롬프트 엔지니어링을 적용해 스티커를 생성하는 경우에 비해 시각적 품질을 14%, 프롬프트 정렬을 16.2%, 장면 다양성을 15.3% 개선함을 보여줍니다.

English

We introduce Style Tailoring, a recipe to finetune Latent Diffusion Models (LDMs) in a distinct domain with high visual quality, prompt alignment and scene diversity. We choose sticker image generation as the target domain, as the images significantly differ from photorealistic samples typically generated by large-scale LDMs. We start with a competent text-to-image model, like Emu, and show that relying on prompt engineering with a photorealistic model to generate stickers leads to poor prompt alignment and scene diversity. To overcome these drawbacks, we first finetune Emu on millions of sticker-like images collected using weak supervision to elicit diversity. Next, we curate human-in-the-loop (HITL) Alignment and Style datasets from model generations, and finetune to improve prompt alignment and style alignment respectively. Sequential finetuning on these datasets poses a tradeoff between better style alignment and prompt alignment gains. To address this tradeoff, we propose a novel fine-tuning method called Style Tailoring, which jointly fits the content and style distribution and achieves best tradeoff. Evaluation results show our method improves visual quality by 14%, prompt alignment by 16.2% and scene diversity by 15.3%, compared to prompt engineering the base Emu model for stickers generation.