Adaptation orthogonale pour la personnalisation modulaire des modèles de diffusion

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

Auteurs: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

Résumé

Les techniques de personnalisation pour les modèles de génération d'images à partir de texte ont ouvert la voie à une large gamme d'applications auparavant inaccessibles, permettant la génération de concepts spécifiques dans divers contextes et styles. Bien que les méthodes existantes facilitent une personnalisation de haute fidélité pour des concepts individuels ou un ensemble limité et prédéfini de ceux-ci, elles ne parviennent pas à atteindre une évolutivité où un seul modèle peut restituer de manière fluide une multitude de concepts. Dans cet article, nous abordons un nouveau problème appelé Personnalisation Modulaire, avec pour objectif de fusionner efficacement des modèles personnalisés qui ont été affinés indépendamment pour des concepts individuels. Cela permet au modèle fusionné de synthétiser conjointement des concepts dans une seule image sans compromettre la fidélité ni engendrer de coûts computationnels supplémentaires. Pour résoudre ce problème, nous introduisons l'Adaptation Orthogonale, une méthode conçue pour encourager les modèles personnalisés, qui n'ont pas accès les uns aux autres pendant l'affinage, à avoir des poids résiduels orthogonaux. Cela garantit qu'au moment de l'inférence, les modèles personnalisés peuvent être additionnés avec un minimum d'interférence. Notre méthode proposée est à la fois simple et polyvalente, applicable à presque tous les poids optimisables dans l'architecture du modèle. À travers un ensemble étendu d'évaluations quantitatives et qualitatives, notre méthode surpasse systématiquement les bases de référence pertinentes en termes d'efficacité et de préservation de l'identité, démontrant un bond significatif vers la personnalisation évolutive des modèles de diffusion.

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.