Continue-tijd distributie-afstemming voor diffusiedistillatie in weinig stappen

Continuous-Time Distribution Matching for Few-Step Diffusion Distillation

May 7, 2026

Auteurs: Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang

cs.AI

Samenvatting

Stapdistillatie is uitgegroeid tot een toonaangevende techniek voor het versnellen van diffusiemodellen, waarbij Distribution Matching Distillation (DMD) en Consistency Distillation twee representatieve paradigma's zijn. Terwijl consistentiemethoden zelfconsistentie afdwingen langs het volledige PF-ODE-traject om dit richting de clean data-manifold te sturen, vertrouwt klassieke DMD op een beperkte supervisie bij enkele vooraf gedefinieerde discrete tijdstappen. Deze beperkte discrete-tijdsformulering en de moduszoekende aard van de reverse KL-divergentie vertonen de neiging tot visuele artefacten en overmatig gladde uitvoer, wat vaak complexe hulpmodules vereist – zoals GAN's of beloningsmodellen – om de visuele kwaliteit te herstellen. In dit werk introduceren we Continuous-Time Distribution Matching (CDM), waarbij we het DMD-raamwerk voor het eerst migreren van discrete ankerpunten naar continue optimalisatie. CDM bereikt dit door twee continue-tijdsontwerpen. Ten eerste vervangen we het vaste discrete schema door een dynamisch continu schema met willekeurige lengte, zodat distribution matching wordt afgedwongen op willekeurige punten langs de sampletrajectories in plaats van alleen op enkele vaste ankerpunten. Ten tweede stellen we een continuetijds-uitlijningsdoel voor dat actieve off-trajectory matching uitvoert op latenties die worden geëxtrapoleerd via het snelheidsveld van de student, wat de generalisatie verbetert en fijne visuele details behoudt. Uitgebreide experimenten met verschillende architecturen, waaronder SD3-Medium en Longcat-Image, tonen aan dat CDM een zeer competitieve visuele kwaliteit biedt voor beeldgeneratie met weinig stappen, zonder te vertrouwen op complexe hulpdoelstellingen. Code is beschikbaar op https://github.com/byliutao/cdm.

English

Step distillation has become a leading technique for accelerating diffusion models, among which Distribution Matching Distillation (DMD) and Consistency Distillation are two representative paradigms. While consistency methods enforce self-consistency along the full PF-ODE trajectory to steer it toward the clean data manifold, vanilla DMD relies on sparse supervision at a few predefined discrete timesteps. This restricted discrete-time formulation and mode-seeking nature of the reverse KL divergence tends to exhibit visual artifacts and over-smoothed outputs, often necessitating complex auxiliary modules -- such as GANs or reward models -- to restore visual fidelity. In this work, we introduce Continuous-Time Distribution Matching (CDM), migrating the DMD framework from discrete anchoring to continuous optimization for the first time. CDM achieves this through two continuous-time designs. First, we replace the fixed discrete schedule with a dynamic continuous schedule of random length, so that distribution matching is enforced at arbitrary points along sampling trajectories rather than only at a few fixed anchors. Second, we propose a continuous-time alignment objective that performs active off-trajectory matching on latents extrapolated via the student's velocity field, improving generalization and preserving fine visual details. Extensive experiments on different architectures, including SD3-Medium and Longcat-Image, demonstrate that CDM provides highly competitive visual fidelity for few-step image generation without relying on complex auxiliary objectives. Code is available at https://github.com/byliutao/cdm.