TC-LoRA：適応的拡散制御のための時間変調条件付きLoRA

TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control

October 10, 2025

著者: Minkyoung Cho, Ruben Ohana, Christian Jacobsen, Adityan Jothi, Min-Hung Chen, Z. Morley Mao, Ethem Can

cs.AI

要旨

現在の制御可能な拡散モデルは、通常、中間活性化を修正して新しいモダリティに基づくガイダンスを注入する固定アーキテクチャに依存しています。このアプローチは、動的で多段階のノイズ除去プロセスに対して静的な条件付け戦略を使用しており、生成が粗い構造から細かい詳細へと進化するにつれてモデルの応答を適応させる能力を制限しています。本論文では、TC-LoRA（時間的に変調された条件付きLoRA）という新しいパラダイムを紹介します。これは、モデルの重みを直接条件付けることで、動的で文脈を意識した制御を可能にします。我々のフレームワークは、ハイパーネットワークを使用してLoRAアダプターをその場で生成し、各拡散ステップにおいて凍結されたバックボーンに対する重み修正を時間とユーザーの条件に基づいて調整します。このメカニズムにより、モデルは生成プロセス全体を通じて条件付きガイダンスを適用するための明示的で適応的な戦略を学習し、実行することが可能になります。さまざまなデータドメインでの実験を通じて、この動的でパラメトリックな制御が、静的で活性化ベースの方法と比較して、生成の忠実度と空間的条件への適合性を大幅に向上させることを実証します。TC-LoRAは、モデルの条件付け戦略を重みのより深い機能的な適応を通じて修正する代替アプローチを確立し、タスクと生成段階の動的な要求に合わせた制御を可能にします。

English

Current controllable diffusion models typically rely on fixed architectures that modify intermediate activations to inject guidance conditioned on a new modality. This approach uses a static conditioning strategy for a dynamic, multi-stage denoising process, limiting the model's ability to adapt its response as the generation evolves from coarse structure to fine detail. We introduce TC-LoRA (Temporally Modulated Conditional LoRA), a new paradigm that enables dynamic, context-aware control by conditioning the model's weights directly. Our framework uses a hypernetwork to generate LoRA adapters on-the-fly, tailoring weight modifications for the frozen backbone at each diffusion step based on time and the user's condition. This mechanism enables the model to learn and execute an explicit, adaptive strategy for applying conditional guidance throughout the entire generation process. Through experiments on various data domains, we demonstrate that this dynamic, parametric control significantly enhances generative fidelity and adherence to spatial conditions compared to static, activation-based methods. TC-LoRA establishes an alternative approach in which the model's conditioning strategy is modified through a deeper functional adaptation of its weights, allowing control to align with the dynamic demands of the task and generative stage.