Adaptação Ortogonal para Customização Modular de Modelos de Difusão

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

Autores: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

Resumo

Técnicas de personalização para modelos de texto-para-imagem abriram caminho para uma ampla gama de aplicações anteriormente inatingíveis, permitindo a geração de conceitos específicos em diversos contextos e estilos. Embora os métodos existentes facilitem a personalização de alta fidelidade para conceitos individuais ou um conjunto limitado e pré-definido deles, eles não conseguem alcançar escalabilidade, onde um único modelo pode renderizar perfeitamente inúmeros conceitos. Neste artigo, abordamos um novo problema chamado Personalização Modular, com o objetivo de fundir de forma eficiente modelos personalizados que foram ajustados independentemente para conceitos individuais. Isso permite que o modelo fundido sintetize conjuntamente conceitos em uma única imagem sem comprometer a fidelidade ou incorrer em custos computacionais adicionais. Para resolver esse problema, introduzimos a Adaptação Ortogonal, um método projetado para incentivar que os modelos personalizados, que não têm acesso uns aos outros durante o ajuste fino, tenham pesos residuais ortogonais. Isso garante que, durante o tempo de inferência, os modelos personalizados possam ser somados com interferência mínima. Nosso método proposto é simples e versátil, aplicável a quase todos os pesos otimizáveis na arquitetura do modelo. Por meio de um extenso conjunto de avaliações quantitativas e qualitativas, nosso método supera consistentemente as linhas de base relevantes em termos de eficiência e preservação de identidade, demonstrando um salto significativo em direção à personalização escalável de modelos de difusão.

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.