Orthogonale Anpassung für die modulare Anpassung von Diffusionsmodellen

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

Autoren: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

Zusammenfassung

Anpassungstechniken für Text-zu-Bild-Modelle haben den Weg für eine Vielzahl von bisher unerreichbaren Anwendungen geebnet, indem sie die Erzeugung spezifischer Konzepte in verschiedenen Kontexten und Stilen ermöglichen. Während bestehende Methoden eine hochpräzise Anpassung für einzelne Konzepte oder eine begrenzte, vordefinierte Menge davon ermöglichen, erreichen sie keine Skalierbarkeit, bei der ein einzelnes Modell nahtlos unzählige Konzepte darstellen kann. In diesem Artikel behandeln wir ein neues Problem namens Modulare Anpassung, mit dem Ziel, angepasste Modelle, die unabhängig für einzelne Konzepte feinabgestimmt wurden, effizient zu kombinieren. Dies ermöglicht es dem kombinierten Modell, Konzepte gemeinsam in einem Bild zu synthetisieren, ohne die Präzision zu beeinträchtigen oder zusätzliche Rechenkosten zu verursachen. Um dieses Problem zu lösen, führen wir Orthogonale Anpassung ein, eine Methode, die darauf abzielt, die angepassten Modelle, die während der Feinabstimmung keinen Zugriff aufeinander haben, dazu zu bringen, orthogonale Restgewichte zu haben. Dies stellt sicher, dass die angepassten Modelle während der Inferenzzeit mit minimaler Interferenz summiert werden können. Unsere vorgeschlagene Methode ist sowohl einfach als auch vielseitig und auf nahezu alle optimierbaren Gewichte in der Modellarchitektur anwendbar. Durch eine umfangreiche Reihe von quantitativen und qualitativen Bewertungen übertrifft unsere Methode relevante Baselines konsequent in Bezug auf Effizienz und Identitätserhaltung und zeigt einen bedeutenden Fortschritt in Richtung skalierbarer Anpassung von Diffusionsmodellen.

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.