拡散モデルのモジュール型カスタマイズのための直交適応

Orthogonal Adaptation for Modular Customization of Diffusion Models

December 5, 2023

著者: Ryan Po, Guandao Yang, Kfir Aberman, Gordon Wetzstein

cs.AI

要旨

テキストから画像を生成するモデルのカスタマイズ技術は、これまで実現が困難だった幅広いアプリケーションの道を開き、多様な文脈やスタイルにおいて特定の概念を生成することを可能にしました。既存の手法は、個々の概念または限られた事前定義された概念セットに対して高忠実度のカスタマイズを実現していますが、単一のモデルが無数の概念をシームレスにレンダリングするスケーラビリティを達成するには至っていません。本論文では、個別の概念に対して独立にファインチューニングされたカスタマイズモデルを効率的に統合することを目的とした「モジュラーカスタマイズ」という新たな問題に取り組みます。これにより、統合されたモデルは、忠実度を損なうことなく、追加の計算コストを発生させることなく、1つの画像内で複数の概念を同時に合成することが可能になります。 この問題に対処するため、我々は「直交適応（Orthogonal Adaptation）」という手法を提案します。この手法は、ファインチューニング中に互いにアクセスできないカスタマイズモデルが、直交する残差重みを持つように設計されています。これにより、推論時にカスタマイズモデルを最小限の干渉で加算することが可能になります。 提案手法はシンプルで汎用性が高く、モデルアーキテクチャ内のほぼすべての最適化可能な重みに適用できます。定量的および定性的な評価を通じて、我々の手法は効率性と同一性の保持において関連するベースラインを一貫して上回り、拡散モデルのスケーラブルなカスタマイズに向けた大きな進展を示しています。

English

Customization techniques for text-to-image models have paved the way for a wide range of previously unattainable applications, enabling the generation of specific concepts across diverse contexts and styles. While existing methods facilitate high-fidelity customization for individual concepts or a limited, pre-defined set of them, they fall short of achieving scalability, where a single model can seamlessly render countless concepts. In this paper, we address a new problem called Modular Customization, with the goal of efficiently merging customized models that were fine-tuned independently for individual concepts. This allows the merged model to jointly synthesize concepts in one image without compromising fidelity or incurring any additional computational costs. To address this problem, we introduce Orthogonal Adaptation, a method designed to encourage the customized models, which do not have access to each other during fine-tuning, to have orthogonal residual weights. This ensures that during inference time, the customized models can be summed with minimal interference. Our proposed method is both simple and versatile, applicable to nearly all optimizable weights in the model architecture. Through an extensive set of quantitative and qualitative evaluations, our method consistently outperforms relevant baselines in terms of efficiency and identity preservation, demonstrating a significant leap toward scalable customization of diffusion models.