DDiT: Agendamento Dinâmico de Patches para Transformadores de Difusão Eficientes
DDiT: Dynamic Patch Scheduling for Efficient Diffusion Transformers
February 19, 2026
Autores: Dahye Kim, Deepti Ghadiyaram, Raghudeep Gadde
cs.AI
Resumo
Os Transformadores de Difusão (DiTs) alcançaram desempenho de ponta na geração de imagens e vídeos, mas seu sucesso vem ao custo de uma computação intensa. Essa ineficiência deve-se em grande parte ao processo de tokenização fixa, que utiliza *patches* de tamanho constante durante toda a fase de remoção de ruído, independentemente da complexidade do conteúdo. Propomos uma tokenização dinâmica, uma estratégia eficiente em tempo de teste que varia os tamanhos dos *patches* com base na complexidade do conteúdo e no *timestep* de desruído. Nossa principal percepção é que os *timesteps* iniciais requerem apenas *patches* mais grossos para modelar a estrutura global, enquanto iterações posteriores demandam *patches* mais finos (de tamanho menor) para refinar detalhes locais. Durante a inferência, nosso método realoca dinamicamente os tamanhos dos *patches* entre as etapas de remoção de ruído para geração de imagem e vídeo, reduzindo substancialmente o custo enquanto preserva a qualidade perceptual da geração. Experimentos extensivos demonstram a eficácia de nossa abordagem: ela alcança acelerações de até 3,52× e 3,2× no FLUX-1.Dev e no Wan 2.1, respectivamente, sem comprometer a qualidade de geração e a aderência ao *prompt*.
English
Diffusion Transformers (DiTs) have achieved state-of-the-art performance in image and video generation, but their success comes at the cost of heavy computation. This inefficiency is largely due to the fixed tokenization process, which uses constant-sized patches throughout the entire denoising phase, regardless of the content's complexity. We propose dynamic tokenization, an efficient test-time strategy that varies patch sizes based on content complexity and the denoising timestep. Our key insight is that early timesteps only require coarser patches to model global structure, while later iterations demand finer (smaller-sized) patches to refine local details. During inference, our method dynamically reallocates patch sizes across denoising steps for image and video generation and substantially reduces cost while preserving perceptual generation quality. Extensive experiments demonstrate the effectiveness of our approach: it achieves up to 3.52times and 3.2times speedup on FLUX-1.Dev and Wan 2.1, respectively, without compromising the generation quality and prompt adherence.