TC-LoRA: LoRA Condicional Modulado Temporalmente para el Control Adaptativo de Difusión

TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control

October 10, 2025

Autores: Minkyoung Cho, Ruben Ohana, Christian Jacobsen, Adityan Jothi, Min-Hung Chen, Z. Morley Mao, Ethem Can

cs.AI

Resumen

Los modelos de difusión controlables actuales suelen depender de arquitecturas fijas que modifican las activaciones intermedias para inyectar guías condicionadas en una nueva modalidad. Este enfoque utiliza una estrategia de condicionamiento estático para un proceso de eliminación de ruido dinámico y multi-etapa, lo que limita la capacidad del modelo para adaptar su respuesta a medida que la generación evoluciona desde una estructura gruesa hasta detalles finos. Presentamos TC-LoRA (LoRA Condicional Modulado Temporalmente), un nuevo paradigma que permite un control dinámico y consciente del contexto al condicionar directamente los pesos del modelo. Nuestro marco utiliza una hiperred para generar adaptadores LoRA sobre la marcha, ajustando las modificaciones de pesos para la red principal congelada en cada paso de difusión según el tiempo y la condición del usuario. Este mecanismo permite que el modelo aprenda y ejecute una estrategia explícita y adaptativa para aplicar guías condicionales durante todo el proceso de generación. A través de experimentos en diversos dominios de datos, demostramos que este control dinámico y paramétrico mejora significativamente la fidelidad generativa y la adherencia a condiciones espaciales en comparación con métodos estáticos basados en activaciones. TC-LoRA establece un enfoque alternativo en el que la estrategia de condicionamiento del modelo se modifica mediante una adaptación funcional más profunda de sus pesos, permitiendo que el control se alinee con las demandas dinámicas de la tarea y la etapa generativa.

English

Current controllable diffusion models typically rely on fixed architectures that modify intermediate activations to inject guidance conditioned on a new modality. This approach uses a static conditioning strategy for a dynamic, multi-stage denoising process, limiting the model's ability to adapt its response as the generation evolves from coarse structure to fine detail. We introduce TC-LoRA (Temporally Modulated Conditional LoRA), a new paradigm that enables dynamic, context-aware control by conditioning the model's weights directly. Our framework uses a hypernetwork to generate LoRA adapters on-the-fly, tailoring weight modifications for the frozen backbone at each diffusion step based on time and the user's condition. This mechanism enables the model to learn and execute an explicit, adaptive strategy for applying conditional guidance throughout the entire generation process. Through experiments on various data domains, we demonstrate that this dynamic, parametric control significantly enhances generative fidelity and adherence to spatial conditions compared to static, activation-based methods. TC-LoRA establishes an alternative approach in which the model's conditioning strategy is modified through a deeper functional adaptation of its weights, allowing control to align with the dynamic demands of the task and generative stage.