TC-LoRA: 적응형 디퓨전 제어를 위한 시간 변조 조건부 LoRA

TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control

October 10, 2025

저자: Minkyoung Cho, Ruben Ohana, Christian Jacobsen, Adityan Jothi, Min-Hung Chen, Z. Morley Mao, Ethem Can

cs.AI

초록

현재의 제어 가능한 확산 모델은 일반적으로 새로운 모달리티에 따라 조건화된 지침을 주입하기 위해 중간 활성화를 수정하는 고정된 아키텍처에 의존합니다. 이 접근 방식은 동적이고 다단계의 노이즈 제거 과정에 대해 정적인 조건화 전략을 사용함으로써, 생성이 거친 구조에서 세부적인 디테일로 진화함에 따라 모델의 응답을 적응시키는 능력을 제한합니다. 우리는 TC-LoRA(Temporally Modulated Conditional LoRA)라는 새로운 패러다임을 소개합니다. 이는 모델의 가중치를 직접 조건화함으로써 동적이고 상황 인식 가능한 제어를 가능하게 합니다. 우리의 프레임워크는 하이퍼네트워크를 사용하여 LoRA 어댑터를 실시간으로 생성하며, 각 확산 단계에서 시간과 사용자의 조건에 따라 고정된 백본에 대한 가중치 수정을 맞춤화합니다. 이 메커니즘은 모델이 전체 생성 과정에 걸쳐 조건화된 지침을 적용하기 위한 명시적이고 적응적인 전략을 학습하고 실행할 수 있게 합니다. 다양한 데이터 도메인에 대한 실험을 통해, 이 동적이고 파라미터화된 제어가 정적이고 활성화 기반의 방법에 비해 생성 충실도와 공간 조건 준수를 크게 향상시킴을 입증했습니다. TC-LoRA는 모델의 조건화 전략이 가중치의 더 깊은 기능적 적응을 통해 수정되는 대안적 접근 방식을 확립하며, 제어가 작업과 생성 단계의 동적 요구에 맞춰질 수 있게 합니다.

English

Current controllable diffusion models typically rely on fixed architectures that modify intermediate activations to inject guidance conditioned on a new modality. This approach uses a static conditioning strategy for a dynamic, multi-stage denoising process, limiting the model's ability to adapt its response as the generation evolves from coarse structure to fine detail. We introduce TC-LoRA (Temporally Modulated Conditional LoRA), a new paradigm that enables dynamic, context-aware control by conditioning the model's weights directly. Our framework uses a hypernetwork to generate LoRA adapters on-the-fly, tailoring weight modifications for the frozen backbone at each diffusion step based on time and the user's condition. This mechanism enables the model to learn and execute an explicit, adaptive strategy for applying conditional guidance throughout the entire generation process. Through experiments on various data domains, we demonstrate that this dynamic, parametric control significantly enhances generative fidelity and adherence to spatial conditions compared to static, activation-based methods. TC-LoRA establishes an alternative approach in which the model's conditioning strategy is modified through a deeper functional adaptation of its weights, allowing control to align with the dynamic demands of the task and generative stage.