EdgeFusion: Generazione di Immagini da Testo su Dispositivo

EdgeFusion: On-Device Text-to-Image Generation

April 18, 2024

Autori: Thibault Castells, Hyoung-Kyu Song, Tairen Piao, Shinkook Choi, Bo-Kyeong Kim, Hanyoung Yim, Changgwun Lee, Jae Gon Kim, Tae-Ho Kim

cs.AI

Abstract

L'intenso carico computazionale di Stable Diffusion (SD) per la generazione di immagini da testo rappresenta un ostacolo significativo per la sua applicazione pratica. Per affrontare questa sfida, la ricerca recente si concentra su metodi per ridurre i passaggi di campionamento, come il Latent Consistency Model (LCM), e sull'impiego di ottimizzazioni architetturali, tra cui il pruning e la distillazione della conoscenza. Diversamente dagli approcci esistenti, partiamo in modo unico da una variante compatta di SD, BK-SDM. Osserviamo che l'applicazione diretta di LCM a BK-SDM con dataset comunemente utilizzati e ottenuti tramite crawling produce risultati insoddisfacenti. Ciò ci porta a sviluppare due strategie: (1) sfruttare coppie immagine-testo di alta qualità provenienti da modelli generativi leader e (2) progettare un processo avanzato di distillazione specifico per LCM. Attraverso un'approfondita esplorazione della quantizzazione, del profiling e del deployment su dispositivi, otteniamo una generazione rapida di immagini foto-realistiche e allineate al testo in soli due passaggi, con una latenza inferiore a un secondo su dispositivi edge con risorse limitate.

English

The intensive computational burden of Stable Diffusion (SD) for text-to-image generation poses a significant hurdle for its practical application. To tackle this challenge, recent research focuses on methods to reduce sampling steps, such as Latent Consistency Model (LCM), and on employing architectural optimizations, including pruning and knowledge distillation. Diverging from existing approaches, we uniquely start with a compact SD variant, BK-SDM. We observe that directly applying LCM to BK-SDM with commonly used crawled datasets yields unsatisfactory results. It leads us to develop two strategies: (1) leveraging high-quality image-text pairs from leading generative models and (2) designing an advanced distillation process tailored for LCM. Through our thorough exploration of quantization, profiling, and on-device deployment, we achieve rapid generation of photo-realistic, text-aligned images in just two steps, with latency under one second on resource-limited edge devices.