Ортогональная адаптация для модульной настройки диффузионных моделей

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

Авторы: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

Аннотация

Методы настройки моделей для генерации изображений по тексту открыли путь к широкому спектру ранее недоступных приложений, позволяя создавать конкретные концепции в разнообразных контекстах и стилях. Хотя существующие методы обеспечивают высокую точность настройки для отдельных концепций или ограниченного, заранее определённого набора, они не достигают масштабируемости, при которой одна модель может бесшовно воспроизводить бесчисленное множество концепций. В данной работе мы рассматриваем новую задачу, названную Модульной Настройкой, с целью эффективного объединения настроенных моделей, которые были независимо дообучены для отдельных концепций. Это позволяет объединённой модели совместно синтезировать концепции в одном изображении без потери точности или дополнительных вычислительных затрат. Для решения этой задачи мы представляем метод Ортогональной Адаптации, который способствует тому, чтобы настроенные модели, не имеющие доступа друг к другу в процессе дообучения, обладали ортогональными остаточными весами. Это гарантирует, что во время вывода настроенные модели могут быть суммированы с минимальными помехами. Наш метод прост и универсален, применим практически ко всем оптимизируемым весам в архитектуре модели. В ходе обширного набора количественных и качественных оценок наш метод неизменно превосходит соответствующие базовые подходы по эффективности и сохранению идентичности, демонстрируя значительный шаг к масштабируемой настройке диффузионных моделей.

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.