Correspondência de Distribuição em Tempo Contínuo para Destilação de Difusão em Poucos Passos

Resumo

A destilação por etapas tornou-se uma técnica líder para acelerar modelos de difusão, entre as quais a Destilação por Correspondência de Distribuição (DMD) e a Destilação de Consistência são dois paradigmas representativos. Enquanto os métodos de consistência impõem a auto-consistência ao longo de toda a trajetória PF-ODE para direcioná-la em direção à variedade de dados limpos, a DMD padrão depende de supervisão esparsa em alguns intervalos de tempo discretos predefinidos. Esta formulação restrita a tempo discreto e a natureza de busca por modos da divergência reversa de KL tendem a exibir artefatos visuais e resultados excessivamente suavizados, frequentemente necessitando de módulos auxiliares complexos – como GANs ou modelos de recompensa – para restaurar a fidelidade visual. Neste trabalho, introduzimos a Correspondência de Distribuição em Tempo Contínuo (CDM), migrando a estrutura DMD da ancoragem discreta para a otimização contínua pela primeira vez. A CDM alcança isso através de dois projetos em tempo contínuo. Primeiro, substituímos o cronograma discreto fixo por um cronograma contínuo dinâmico de duração aleatória, de modo que a correspondência de distribuição seja aplicada em pontos arbitrários ao longo das trajetórias de amostragem, e não apenas em algumas âncoras fixas. Segundo, propomos um objetivo de alinhamento em tempo contínuo que realiza uma correspondência ativa fora da trajetória em latentes extrapolados via campo de velocidade do estudante, melhorando a generalização e preservando detalhes visuais finos. Experimentos extensos em diferentes arquiteturas, incluindo SD3-Medium e Longcat-Image, demonstram que a CDM oferece uma fidelidade visual altamente competitiva para a geração de imagens em poucas etapas, sem depender de objetivos auxiliares complexos. O código está disponível em https://github.com/byliutao/cdm.

English

Step distillation has become a leading technique for accelerating diffusion models, among which Distribution Matching Distillation (DMD) and Consistency Distillation are two representative paradigms. While consistency methods enforce self-consistency along the full PF-ODE trajectory to steer it toward the clean data manifold, vanilla DMD relies on sparse supervision at a few predefined discrete timesteps. This restricted discrete-time formulation and mode-seeking nature of the reverse KL divergence tends to exhibit visual artifacts and over-smoothed outputs, often necessitating complex auxiliary modules -- such as GANs or reward models -- to restore visual fidelity. In this work, we introduce Continuous-Time Distribution Matching (CDM), migrating the DMD framework from discrete anchoring to continuous optimization for the first time. CDM achieves this through two continuous-time designs. First, we replace the fixed discrete schedule with a dynamic continuous schedule of random length, so that distribution matching is enforced at arbitrary points along sampling trajectories rather than only at a few fixed anchors. Second, we propose a continuous-time alignment objective that performs active off-trajectory matching on latents extrapolated via the student's velocity field, improving generalization and preserving fine visual details. Extensive experiments on different architectures, including SD3-Medium and Longcat-Image, demonstrate that CDM provides highly competitive visual fidelity for few-step image generation without relying on complex auxiliary objectives. Code is available at https://github.com/byliutao/cdm.