Adaptación Ortogonal para la Personalización Modular de Modelos de Difusión

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

Autores: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

Resumen

Las técnicas de personalización para modelos de texto a imagen han abierto el camino a una amplia gama de aplicaciones previamente inalcanzables, permitiendo la generación de conceptos específicos en diversos contextos y estilos. Si bien los métodos existentes facilitan una personalización de alta fidelidad para conceptos individuales o un conjunto limitado y predefinido de ellos, no logran alcanzar la escalabilidad, donde un solo modelo puede representar sin problemas innumerables conceptos. En este artículo, abordamos un nuevo problema llamado Personalización Modular, con el objetivo de fusionar de manera eficiente modelos personalizados que fueron ajustados de forma independiente para conceptos individuales. Esto permite que el modelo fusionado sintetice conjuntamente conceptos en una sola imagen sin comprometer la fidelidad ni incurrir en costos computacionales adicionales. Para abordar este problema, introducimos Adaptación Ortogonal, un método diseñado para fomentar que los modelos personalizados, que no tienen acceso entre sí durante el ajuste fino, tengan pesos residuales ortogonales. Esto asegura que, durante la inferencia, los modelos personalizados puedan sumarse con una interferencia mínima. Nuestro método propuesto es simple y versátil, aplicable a casi todos los pesos optimizables en la arquitectura del modelo. A través de un extenso conjunto de evaluaciones cuantitativas y cualitativas, nuestro método supera consistentemente a las líneas de base relevantes en términos de eficiencia y preservación de identidad, demostrando un avance significativo hacia la personalización escalable de modelos de difusión.

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.