DiffuseKronA : Une méthode de réglage fin efficace en paramètres pour les modèles de diffusion personnalisés

DiffuseKronA: A Parameter Efficient Fine-tuning Method for Personalized Diffusion Model

February 27, 2024

Auteurs: Shyam Marjit, Harshit Singh, Nityanand Mathur, Sayak Paul, Chia-Mu Yu, Pin-Yu Chen

cs.AI

Résumé

Dans le domaine des modèles génératifs texte-à-image (T2I) axés sur un sujet spécifique, les développements récents tels que DreamBooth et BLIP-Diffusion ont produit des résultats impressionnants, mais se heurtent à des limitations dues à leurs exigences intensives en matière de fine-tuning et à leurs besoins substantiels en paramètres. Bien que le module d'adaptation à faible rang (LoRA) au sein de DreamBooth offre une réduction des paramètres entraînables, il introduit une sensibilité marquée aux hyperparamètres, conduisant à un compromis entre l'efficacité des paramètres et la qualité de la synthèse d'images personnalisées T2I. Pour répondre à ces contraintes, nous introduisons \textit{DiffuseKronA}, un nouveau module d'adaptation basé sur le produit de Kronecker qui non seulement réduit significativement le nombre de paramètres de 35\% et 99,947\% par rapport à LoRA-DreamBooth et au DreamBooth original, respectivement, mais améliore également la qualité de la synthèse d'images. De manière cruciale, DiffuseKronA atténue le problème de sensibilité aux hyperparamètres, offrant des générations de haute qualité cohérentes sur une large gamme d'hyperparamètres, réduisant ainsi la nécessité d'un fine-tuning extensif. De plus, une décomposition plus contrôlable rend DiffuseKronA plus interprétable et peut même atteindre une réduction allant jusqu'à 50\% avec des résultats comparables à LoRA-DreamBooth. Évalué sur des images d'entrée et des prompts textuels divers et complexes, DiffuseKronA surpasse systématiquement les modèles existants, produisant des images diversifiées de meilleure qualité avec une fidélité améliorée et une distribution de couleurs plus précise des objets, tout en maintenant une efficacité exceptionnelle des paramètres, représentant ainsi une avancée substantielle dans le domaine de la modélisation générative T2I. Notre page de projet, comprenant des liens vers le code et les checkpoints pré-entraînés, est disponible à l'adresse https://diffusekrona.github.io/{https://diffusekrona.github.io/}.

English

In the realm of subject-driven text-to-image (T2I) generative models, recent developments like DreamBooth and BLIP-Diffusion have led to impressive results yet encounter limitations due to their intensive fine-tuning demands and substantial parameter requirements. While the low-rank adaptation (LoRA) module within DreamBooth offers a reduction in trainable parameters, it introduces a pronounced sensitivity to hyperparameters, leading to a compromise between parameter efficiency and the quality of T2I personalized image synthesis. Addressing these constraints, we introduce \textit{DiffuseKronA}, a novel Kronecker product-based adaptation module that not only significantly reduces the parameter count by 35\% and 99.947\% compared to LoRA-DreamBooth and the original DreamBooth, respectively, but also enhances the quality of image synthesis. Crucially, DiffuseKronA mitigates the issue of hyperparameter sensitivity, delivering consistent high-quality generations across a wide range of hyperparameters, thereby diminishing the necessity for extensive fine-tuning. Furthermore, a more controllable decomposition makes DiffuseKronA more interpretable and even can achieve up to a 50\% reduction with results comparable to LoRA-Dreambooth. Evaluated against diverse and complex input images and text prompts, DiffuseKronA consistently outperforms existing models, producing diverse images of higher quality with improved fidelity and a more accurate color distribution of objects, all the while upholding exceptional parameter efficiency, thus presenting a substantial advancement in the field of T2I generative modeling. Our project page, consisting of links to the code, and pre-trained checkpoints, is available at https://diffusekrona.github.io/{https://diffusekrona.github.io/}.