Diffusietemplates: Een Uniform Pluginraamwerk voor Beheerbare Diffusie

Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion

April 27, 2026

Auteurs: Zhongjie Duan, Hong Zhang, Yingda Chen

cs.AI

Samenvatting

Beheerbare diffusiemethoden hebben de praktische bruikbaarheid van diffusiemodellen aanzienlijk vergroot, maar ze worden doorgaans ontwikkeld als geïsoleerde, backbonespecifieke systemen met onverenigbare trainingspijplijnen, parameterformaten en runtime-hooks. Deze fragmentatie maakt het moeilijk om infrastructuur tussen taken te hergebruiken, mogelijkheden tussen backbones over te dragen of meerdere controles binnen een enkele generatiepijplijn te combineren. Wij presenteren Diffusion Templates, een uniform en open plugin-framework dat de inferentie van basismodellen ontkoppelt van de injectie van beheerbare capaciteiten. Het framework is georganiseerd rond drie componenten: Template-modellen die willekeurige taakspecifieke invoer omzetten naar een intermediare capaciteitsrepresentatie, een Template-cache die fungeert als gestandaardiseerde interface voor capaciteitsinjectie, en een Template-pijplijn die een of meer Template-caches laadt, samenvoegt en injecteert in de runtime van de basisdiffusie. Omdat de interface op systeemniveau is gedefinieerd in plaats van gekoppeld aan een specifieke controle-architectuur, kunnen heterogene capaciteitsdragers zoals KV-Cache en LoRA onder dezelfde abstractie worden ondersteund. Op basis van dit ontwerp bouwen we een diverse model-zoo die structurele controle, helderheidsaanpassing, kleuraanpassing, beeldbewerking, superresolutie, scherpteverbetering, esthetische afstemming, contentreferentie, lokale inpaintin en leeftijdscontrole omvat. Deze casestudies tonen aan dat Diffusion Templates een breed scala aan beheerbare generatietaken kan verenigen, terwijl modulariteit, combineerbaarheid en praktische uitbreidbaarheid over snel evoluerende diffusiebackbones behouden blijven. Alle bronnen worden open source gemaakt, inclusief code, modellen en datasets.

English

Controllable diffusion methods have substantially expanded the practical utility of diffusion models, but they are typically developed as isolated, backbone-specific systems with incompatible training pipelines, parameter formats, and runtime hooks. This fragmentation makes it difficult to reuse infrastructure across tasks, transfer capabilities across backbones, or compose multiple controls within a single generation pipeline. We present Diffusion Templates, a unified and open plugin framework that decouples base-model inference from controllable capability injection. The framework is organized around three components: Template models that map arbitrary task-specific inputs to an intermediate capability representation, a Template cache that functions as a standardized interface for capability injection, and a Template pipeline that loads, merges, and injects one or more Template caches into the base diffusion runtime. Because the interface is defined at the systems level rather than tied to a specific control architecture, heterogeneous capability carriers such as KV-Cache and LoRA can be supported under the same abstraction. Based on this design, we build a diverse model zoo spanning structural control, brightness adjustment, color adjustment, image editing, super-resolution, sharpness enhancement, aesthetic alignment, content reference, local inpainting, and age control. These case studies show that Diffusion Templates can unify a broad range of controllable generation tasks while preserving modularity, composability, and practical extensibility across rapidly evolving diffusion backbones. All resources will be open sourced, including code, models, and datasets.