BitsFusion: 1.99 bits Gewichtskwantisering van Diffusiemodellen

BitsFusion: 1.99 bits Weight Quantization of Diffusion Model

June 6, 2024

Auteurs: Yang Sui, Yanyu Li, Anil Kag, Yerlan Idelbayev, Junli Cao, Ju Hu, Dhritiman Sagar, Bo Yuan, Sergey Tulyakov, Jian Ren

cs.AI

Samenvatting

Diffusiegebaseerde beeldgeneratiemodellen hebben de afgelopen jaren groot succes geboekt door het vermogen te tonen om hoogwaardige inhoud te synthetiseren. Deze modellen bevatten echter een enorm aantal parameters, wat resulteert in een aanzienlijk grote modelgrootte. Het opslaan en overdragen ervan vormt een belangrijk knelpunt voor diverse toepassingen, vooral die welke draaien op apparaten met beperkte middelen. In dit werk ontwikkelen we een nieuwe methode voor gewichtskwantisatie die de UNet van Stable Diffusion v1.5 kwantiseert naar 1,99 bits, waardoor een model ontstaat dat 7,9 keer kleiner is en zelfs betere generatiekwaliteit vertoont dan het originele model. Onze aanpak omvat verschillende nieuwe technieken, zoals het toewijzen van optimale bits aan elke laag, het initialiseren van het gekwantiseerde model voor betere prestaties, en het verbeteren van de trainingsstrategie om de kwantisatiefout aanzienlijk te verminderen. Bovendien evalueren we ons gekwantiseerde model uitgebreid op diverse benchmarkdatasets en via menselijke evaluatie om de superieure generatiekwaliteit aan te tonen.

English

Diffusion-based image generation models have achieved great success in recent years by showing the capability of synthesizing high-quality content. However, these models contain a huge number of parameters, resulting in a significantly large model size. Saving and transferring them is a major bottleneck for various applications, especially those running on resource-constrained devices. In this work, we develop a novel weight quantization method that quantizes the UNet from Stable Diffusion v1.5 to 1.99 bits, achieving a model with 7.9X smaller size while exhibiting even better generation quality than the original one. Our approach includes several novel techniques, such as assigning optimal bits to each layer, initializing the quantized model for better performance, and improving the training strategy to dramatically reduce quantization error. Furthermore, we extensively evaluate our quantized model across various benchmark datasets and through human evaluation to demonstrate its superior generation quality.