Über die architektonische Kompression von Text-zu-Bild-Diffusionsmodellen

On Architectural Compression of Text-to-Image Diffusion Models

May 25, 2023

Autoren: Bo-Kyeong Kim, Hyoung-Kyu Song, Thibault Castells, Shinkook Choi

cs.AI

Zusammenfassung

Herausragende Ergebnisse der Text-zu-Bild (T2I)-Generierung mit Stable Diffusion Modellen (SDMs) gehen mit erheblichen Rechenanforderungen einher. Um dieses Problem zu lösen, hat sich die aktuelle Forschung zu effizienten SDMs darauf konzentriert, die Anzahl der Sampling-Schritte zu reduzieren und Netzwerkquantisierung zu nutzen. In einer orthogonalen Richtung zu diesen Ansätzen beleuchtet diese Studie die Effektivität klassischer architektonischer Kompression für die allgemeine T2I-Synthese durch die Einführung von blockreduzierten, wissensdistillierten SDMs (BK-SDMs). Wir entfernen mehrere Residual- und Attention-Blöcke aus dem U-Net der SDMs und erreichen dadurch eine Reduktion der Parameteranzahl, der MACs pro Sampling-Schritt und der Latenz um über 30 %. Wir führen eine distillationsbasierte Vortrainierung mit nur 0,22 Millionen LAION-Paaren (weniger als 0,1 % der vollständigen Trainingspaare) auf einer einzelnen A100-GPU durch. Trotz der begrenzten Ressourcen während des Trainings können unsere kompakten Modelle das ursprüngliche SDM durch den Nutzen von transferiertem Wissen nachahmen und erzielen wettbewerbsfähige Ergebnisse im Vergleich zu größeren Modellen mit mehreren Milliarden Parametern auf dem Zero-Shot MS-COCO-Benchmark. Darüber hinaus demonstrieren wir die Anwendbarkeit unserer leichtgewichtigen vortrainierten Modelle in der personalisierten Generierung durch DreamBooth-Finetuning.

English

Exceptional text-to-image (T2I) generation results of Stable Diffusion models (SDMs) come with substantial computational demands. To resolve this issue, recent research on efficient SDMs has prioritized reducing the number of sampling steps and utilizing network quantization. Orthogonal to these directions, this study highlights the power of classical architectural compression for general-purpose T2I synthesis by introducing block-removed knowledge-distilled SDMs (BK-SDMs). We eliminate several residual and attention blocks from the U-Net of SDMs, obtaining over a 30% reduction in the number of parameters, MACs per sampling step, and latency. We conduct distillation-based pretraining with only 0.22M LAION pairs (fewer than 0.1% of the full training pairs) on a single A100 GPU. Despite being trained with limited resources, our compact models can imitate the original SDM by benefiting from transferred knowledge and achieve competitive results against larger multi-billion parameter models on the zero-shot MS-COCO benchmark. Moreover, we demonstrate the applicability of our lightweight pretrained models in personalized generation with DreamBooth finetuning.