Calibri: Aprimorando Transformadores de Difusão por meio de Calibração com Eficiência de Parâmetros
Calibri: Enhancing Diffusion Transformers via Parameter-Efficient Calibration
March 25, 2026
Autores: Danil Tokhchukov, Aysel Mirzoeva, Andrey Kuznetsov, Konstantin Sobolev
cs.AI
Resumo
Neste artigo, revelamos o potencial oculto dos Transformadores de Difusão (DiTs) para melhorar significativamente tarefas generativas. Através de uma análise aprofundada do processo de remoção de ruído, demonstramos que a introdução de um único parâmetro de escala aprendido pode melhorar significativamente o desempenho dos blocos DiT. Com base nessa perceção, propomos o Calibri, uma abordagem eficiente em parâmetros que calibra otimamente os componentes do DiT para elevar a qualidade generativa. O Calibri enquadra a calibração do DiT como um problema de otimização de recompensa de caixa preta, que é resolvido eficientemente usando um algoritmo evolutivo e modifica apenas ~100 parâmetros. Os resultados experimentais revelam que, apesar do seu design leve, o Calibri melhora consistentemente o desempenho em vários modelos de texto para imagem. Notavelmente, o Calibri também reduz os passos de inferência necessários para a geração de imagens, mantendo ao mesmo tempo saídas de alta qualidade.
English
In this paper, we uncover the hidden potential of Diffusion Transformers (DiTs) to significantly enhance generative tasks. Through an in-depth analysis of the denoising process, we demonstrate that introducing a single learned scaling parameter can significantly improve the performance of DiT blocks. Building on this insight, we propose Calibri, a parameter-efficient approach that optimally calibrates DiT components to elevate generative quality. Calibri frames DiT calibration as a black-box reward optimization problem, which is efficiently solved using an evolutionary algorithm and modifies just ~100 parameters. Experimental results reveal that despite its lightweight design, Calibri consistently improves performance across various text-to-image models. Notably, Calibri also reduces the inference steps required for image generation, all while maintaining high-quality outputs.