TC-LoRA: LoRA Condicional Modulado Temporalmente para Controle Adaptativo em Difusão

TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control

October 10, 2025

Autores: Minkyoung Cho, Ruben Ohana, Christian Jacobsen, Adityan Jothi, Min-Hung Chen, Z. Morley Mao, Ethem Can

cs.AI

Resumo

Os modelos de difusão controláveis atuais geralmente dependem de arquiteturas fixas que modificam as ativações intermediárias para injetar orientações condicionadas a uma nova modalidade. Essa abordagem utiliza uma estratégia de condicionamento estática para um processo de desruído dinâmico e multiestágio, limitando a capacidade do modelo de adaptar sua resposta à medida que a geração evolui de uma estrutura grosseira para detalhes refinados. Introduzimos o TC-LoRA (LoRA Condicional Modulado Temporalmente), um novo paradigma que permite controle dinâmico e contextual ao condicionar diretamente os pesos do modelo. Nosso framework utiliza uma hiper-rede para gerar adaptadores LoRA em tempo real, personalizando as modificações de pesos para a rede principal congelada em cada etapa da difusão com base no tempo e na condição do usuário. Esse mecanismo permite que o modelo aprenda e execute uma estratégia explícita e adaptativa para aplicar orientações condicionais ao longo de todo o processo de geração. Por meio de experimentos em diversos domínios de dados, demonstramos que esse controle paramétrico dinâmico melhora significativamente a fidelidade gerativa e a aderência a condições espaciais em comparação com métodos estáticos baseados em ativações. O TC-LoRA estabelece uma abordagem alternativa na qual a estratégia de condicionamento do modelo é modificada por meio de uma adaptação funcional mais profunda de seus pesos, permitindo que o controle se alinhe às demandas dinâmicas da tarefa e do estágio gerativo.

English

Current controllable diffusion models typically rely on fixed architectures that modify intermediate activations to inject guidance conditioned on a new modality. This approach uses a static conditioning strategy for a dynamic, multi-stage denoising process, limiting the model's ability to adapt its response as the generation evolves from coarse structure to fine detail. We introduce TC-LoRA (Temporally Modulated Conditional LoRA), a new paradigm that enables dynamic, context-aware control by conditioning the model's weights directly. Our framework uses a hypernetwork to generate LoRA adapters on-the-fly, tailoring weight modifications for the frozen backbone at each diffusion step based on time and the user's condition. This mechanism enables the model to learn and execute an explicit, adaptive strategy for applying conditional guidance throughout the entire generation process. Through experiments on various data domains, we demonstrate that this dynamic, parametric control significantly enhances generative fidelity and adherence to spatial conditions compared to static, activation-based methods. TC-LoRA establishes an alternative approach in which the model's conditioning strategy is modified through a deeper functional adaptation of its weights, allowing control to align with the dynamic demands of the task and generative stage.