OminiControl: 拡散トランスフォーマー向けの最小かつ汎用制御

OminiControl: Minimal and Universal Control for Diffusion Transformer

November 22, 2024

著者: Zhenxiong Tan, Songhua Liu, Xingyi Yang, Qiaochu Xue, Xinchao Wang

cs.AI

要旨

本論文では、画像条件を事前学習された拡散トランスフォーマー（DiT）モデルに統合する高い汎用性とパラメータ効率を備えたフレームワークであるOminiControlを紹介します。OminiControlの核となるのは、パラメータ再利用メカニズムを活用し、DiTが自らを強力なバックボーンとして画像条件をエンコードし、柔軟なマルチモーダルアテンションプロセッサで処理することができるようになります。既存の方法とは異なり、OminiControlは追加のエンコーダモジュールに複雑なアーキテクチャを大幅に依存することなく、（1）わずか約0.1％の追加パラメータで画像条件を効果的かつ効率的に組み込み、（2）主体駆動生成やエッジ、深度などの空間に整列した条件を含む幅広い画像調整タスクを統一的に対処します。これらの機能は、特に主体駆動生成には有益であるDiT自体によって生成された画像でトレーニングすることで実現されます。包括的な評価により、OminiControlは既存のUNetベースおよびDiTに適合させたモデルを主体駆動および空間に整列した条件付き生成の両方で上回ることが示されています。さらに、200,000以上のアイデンティティに整合した多様な画像コレクションであるトレーニングデータセットSubjects200Kと、主体に整合した生成の研究を推進する効率的なデータ合成パイプラインを公開しています。

English

In this paper, we introduce OminiControl, a highly versatile and parameter-efficient framework that integrates image conditions into pre-trained Diffusion Transformer (DiT) models. At its core, OminiControl leverages a parameter reuse mechanism, enabling the DiT to encode image conditions using itself as a powerful backbone and process them with its flexible multi-modal attention processors. Unlike existing methods, which rely heavily on additional encoder modules with complex architectures, OminiControl (1) effectively and efficiently incorporates injected image conditions with only ~0.1% additional parameters, and (2) addresses a wide range of image conditioning tasks in a unified manner, including subject-driven generation and spatially-aligned conditions such as edges, depth, and more. Remarkably, these capabilities are achieved by training on images generated by the DiT itself, which is particularly beneficial for subject-driven generation. Extensive evaluations demonstrate that OminiControl outperforms existing UNet-based and DiT-adapted models in both subject-driven and spatially-aligned conditional generation. Additionally, we release our training dataset, Subjects200K, a diverse collection of over 200,000 identity-consistent images, along with an efficient data synthesis pipeline to advance research in subject-consistent generation.