EdgeFusion: Geração de Texto para Imagem em Dispositivos Locais

EdgeFusion: On-Device Text-to-Image Generation

April 18, 2024

Autores: Thibault Castells, Hyoung-Kyu Song, Tairen Piao, Shinkook Choi, Bo-Kyeong Kim, Hanyoung Yim, Changgwun Lee, Jae Gon Kim, Tae-Ho Kim

cs.AI

Resumo

A intensa carga computacional do Stable Diffusion (SD) para geração de imagens a partir de texto representa um obstáculo significativo para sua aplicação prática. Para enfrentar esse desafio, pesquisas recentes concentram-se em métodos para reduzir etapas de amostragem, como o Latent Consistency Model (LCM), e na utilização de otimizações arquitetônicas, incluindo poda e destilação de conhecimento. Diferentemente das abordagens existentes, iniciamos de forma única com uma variante compacta do SD, o BK-SDM. Observamos que a aplicação direta do LCM ao BK-SDM com conjuntos de dados rastreados comumente utilizados produz resultados insatisfatórios. Isso nos leva a desenvolver duas estratégias: (1) aproveitar pares de imagem-texto de alta qualidade provenientes de modelos generativos líderes e (2) projetar um processo avançado de destilação personalizado para o LCM. Por meio de nossa exploração detalhada de quantização, perfilamento e implantação em dispositivos, alcançamos a geração rápida de imagens foto-realistas e alinhadas ao texto em apenas duas etapas, com latência inferior a um segundo em dispositivos de borda com recursos limitados.

English

The intensive computational burden of Stable Diffusion (SD) for text-to-image generation poses a significant hurdle for its practical application. To tackle this challenge, recent research focuses on methods to reduce sampling steps, such as Latent Consistency Model (LCM), and on employing architectural optimizations, including pruning and knowledge distillation. Diverging from existing approaches, we uniquely start with a compact SD variant, BK-SDM. We observe that directly applying LCM to BK-SDM with commonly used crawled datasets yields unsatisfactory results. It leads us to develop two strategies: (1) leveraging high-quality image-text pairs from leading generative models and (2) designing an advanced distillation process tailored for LCM. Through our thorough exploration of quantization, profiling, and on-device deployment, we achieve rapid generation of photo-realistic, text-aligned images in just two steps, with latency under one second on resource-limited edge devices.