BitsFusion : Quantification des poids du modèle de diffusion à 1,99 bits

papers.abstract

Les modèles de génération d'images basés sur la diffusion ont connu un grand succès ces dernières années en démontrant leur capacité à synthétiser du contenu de haute qualité. Cependant, ces modèles contiennent un nombre considérable de paramètres, ce qui entraîne une taille de modèle significativement importante. Leur sauvegarde et leur transfert constituent un goulot d'étranglement majeur pour diverses applications, en particulier celles fonctionnant sur des appareils aux ressources limitées. Dans ce travail, nous développons une nouvelle méthode de quantification des poids qui quantifie l'UNet de Stable Diffusion v1.5 à 1,99 bits, obtenant ainsi un modèle 7,9 fois plus petit tout en affichant une qualité de génération encore meilleure que l'original. Notre approche inclut plusieurs techniques novatrices, telles que l'attribution de bits optimaux à chaque couche, l'initialisation du modèle quantifié pour de meilleures performances, et l'amélioration de la stratégie d'entraînement pour réduire considérablement l'erreur de quantification. De plus, nous évaluons de manière approfondie notre modèle quantifié sur divers ensembles de données de référence et à travers une évaluation humaine pour démontrer sa qualité de génération supérieure.

English

Diffusion-based image generation models have achieved great success in recent years by showing the capability of synthesizing high-quality content. However, these models contain a huge number of parameters, resulting in a significantly large model size. Saving and transferring them is a major bottleneck for various applications, especially those running on resource-constrained devices. In this work, we develop a novel weight quantization method that quantizes the UNet from Stable Diffusion v1.5 to 1.99 bits, achieving a model with 7.9X smaller size while exhibiting even better generation quality than the original one. Our approach includes several novel techniques, such as assigning optimal bits to each layer, initializing the quantized model for better performance, and improving the training strategy to dramatically reduce quantization error. Furthermore, we extensively evaluate our quantized model across various benchmark datasets and through human evaluation to demonstrate its superior generation quality.

BitsFusion : Quantification des poids du modèle de diffusion à 1,99 bits

BitsFusion: 1.99 bits Weight Quantization of Diffusion Model

papers.abstract

Support