オメガンス：拡散ベース合成におけるさまざまな粒度のための単一パラメータ

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

著者: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

要旨

本研究では、拡散ベースの合成において粒度を効果的に制御するための単一パラメータであるオメガを導入します。このパラメータは、拡散モデルの逆プロセスのノイズ除去ステップ中に組み込まれます。当手法は、モデルの再トレーニング、アーキテクチャの変更、または推論中の追加計算負荷を必要とせず、生成される出力の詳細レベルを正確に制御することが可能です。さらに、空間マスクやオメガ値を変化させたノイズ除去スケジュールを適用することで、領域固有またはタイムステップ固有の粒度制御を実現できます。制御信号や参照画像からの画像構成の事前知識は、特定のオブジェクトにおける粒度制御のための正確なオメガマスクの作成を容易にします。微妙な詳細の変化を制御するためのパラメータの役割を強調するために、この手法は「オメガ」と「ニュアンス」を組み合わせた「Omegance」と名付けられています。当手法は、さまざまな画像およびビデオ合成タスクで印象的なパフォーマンスを示し、高度な拡散モデルにも適応可能です。コードはhttps://github.com/itsmag11/Omegance で入手可能です。

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.