Adattamento Ortogonale per la Personalizzazione Modulare dei Modelli di Diffusione

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

Autori: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

Abstract

Le tecniche di personalizzazione per i modelli di testo-immagine hanno aperto la strada a una vasta gamma di applicazioni precedentemente irraggiungibili, consentendo la generazione di concetti specifici in contesti e stili diversi. Sebbene i metodi esistenti facilitino una personalizzazione ad alta fedeltà per singoli concetti o un insieme limitato e predefinito di essi, non riescono a raggiungere la scalabilità, in cui un singolo modello può rappresentare senza soluzione di continuità innumerevoli concetti. In questo articolo, affrontiamo un nuovo problema chiamato Personalizzazione Modulare, con l'obiettivo di fondere in modo efficiente modelli personalizzati che sono stati ottimizzati in modo indipendente per singoli concetti. Ciò consente al modello fuso di sintetizzare congiuntamente i concetti in un'unica immagine senza compromettere la fedeltà o incorrere in costi computazionali aggiuntivi. Per affrontare questo problema, introduciamo l'Adattamento Ortogonale, un metodo progettato per incoraggiare i modelli personalizzati, che non hanno accesso reciproco durante la fase di ottimizzazione, ad avere pesi residui ortogonali. Ciò garantisce che, durante l'inferenza, i modelli personalizzati possano essere sommati con un'interferenza minima. Il nostro metodo proposto è sia semplice che versatile, applicabile a quasi tutti i pesi ottimizzabili nell'architettura del modello. Attraverso un'ampia serie di valutazioni quantitative e qualitative, il nostro metodo supera costantemente le baseline rilevanti in termini di efficienza e conservazione dell'identità, dimostrando un significativo balzo in avanti verso la personalizzazione scalabile dei modelli di diffusione.

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.