TC-LoRA: Tijdelijk Gemoduleerde Conditionele LoRA voor Adaptieve Diffusiecontrole

TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control

October 10, 2025

Auteurs: Minkyoung Cho, Ruben Ohana, Christian Jacobsen, Adityan Jothi, Min-Hung Chen, Z. Morley Mao, Ethem Can

cs.AI

Samenvatting

Huidige beheersbare diffusiemodellen vertrouwen doorgaans op vaste architecturen die tussenliggende activaties aanpassen om begeleiding te injecteren die is geconditioneerd op een nieuwe modaliteit. Deze aanpak gebruikt een statische conditioneringsstrategie voor een dynamisch, meerfasig denoisingsproces, wat de mogelijkheid van het model beperkt om zijn reactie aan te passen naarmate de generatie evolueert van grove structuur naar fijne details. Wij introduceren TC-LoRA (Temporally Modulated Conditional LoRA), een nieuw paradigma dat dynamische, contextbewuste controle mogelijk maakt door de gewichten van het model direct te conditioneren. Ons framework gebruikt een hypernetwerk om LoRA-adapters on-the-fly te genereren, waarbij gewichtsaanpassingen worden afgestemd op de bevroren backbone bij elke diffusiestap, gebaseerd op tijd en de conditie van de gebruiker. Dit mechanisme stelt het model in staat om een expliciete, adaptieve strategie te leren en uit te voeren voor het toepassen van conditionele begeleiding gedurende het hele generatieproces. Door experimenten op verschillende datadomeinen tonen we aan dat deze dynamische, parametrische controle de generatieve kwaliteit en naleving van ruimtelijke condities aanzienlijk verbetert in vergelijking met statische, activatiegebaseerde methoden. TC-LoRA introduceert een alternatieve benadering waarbij de conditioneringsstrategie van het model wordt aangepast door een diepere functionele aanpassing van zijn gewichten, waardoor controle kan worden afgestemd op de dynamische eisen van de taak en het generatiestadium.

English

Current controllable diffusion models typically rely on fixed architectures that modify intermediate activations to inject guidance conditioned on a new modality. This approach uses a static conditioning strategy for a dynamic, multi-stage denoising process, limiting the model's ability to adapt its response as the generation evolves from coarse structure to fine detail. We introduce TC-LoRA (Temporally Modulated Conditional LoRA), a new paradigm that enables dynamic, context-aware control by conditioning the model's weights directly. Our framework uses a hypernetwork to generate LoRA adapters on-the-fly, tailoring weight modifications for the frozen backbone at each diffusion step based on time and the user's condition. This mechanism enables the model to learn and execute an explicit, adaptive strategy for applying conditional guidance throughout the entire generation process. Through experiments on various data domains, we demonstrate that this dynamic, parametric control significantly enhances generative fidelity and adherence to spatial conditions compared to static, activation-based methods. TC-LoRA establishes an alternative approach in which the model's conditioning strategy is modified through a deeper functional adaptation of its weights, allowing control to align with the dynamic demands of the task and generative stage.