TeEFusion: Misturando Embeddings de Texto para Destilar Orientação Livre de Classificador

TeEFusion: Blending Text Embeddings to Distill Classifier-Free Guidance

July 24, 2025

Autores: Minghao Fu, Guo-Hua Wang, Xiaohao Chen, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

Resumo

Os avanços recentes na síntese de texto para imagem beneficiam-se amplamente de estratégias de amostragem sofisticadas e da orientação sem classificador (CFG, do inglês *Classifier-Free Guidance*) para garantir uma geração de alta qualidade. No entanto, a dependência da CFG em duas passagens diretas, especialmente quando combinada com algoritmos de amostragem complexos, resulta em custos de inferência proibitivamente altos. Para resolver isso, introduzimos o TeEFusion (*Text Embeddings Fusion*), um método de destilação novo e eficiente que incorpora diretamente a magnitude de orientação nos embeddings de texto e destila a estratégia de amostragem complexa do modelo professor. Ao simplesmente fundir embeddings de texto condicionais e incondicionais usando operações lineares, o TeEFusion reconstrói a orientação desejada sem adicionar parâmetros extras, permitindo simultaneamente que o modelo aluno aprenda com a saída do professor produzida por meio de sua abordagem de amostragem sofisticada. Experimentos extensivos em modelos de última geração, como o SD3, demonstram que nosso método permite que o aluno imite de perto o desempenho do professor com uma estratégia de amostragem muito mais simples e eficiente. Consequentemente, o modelo aluno alcança velocidades de inferência até 6 vezes mais rápidas que o modelo professor, mantendo a qualidade da imagem em níveis comparáveis aos obtidos por meio da abordagem de amostragem complexa do professor. O código está publicamente disponível em https://github.com/AIDC-AI/TeEFusion{github.com/AIDC-AI/TeEFusion}.

English

Recent advances in text-to-image synthesis largely benefit from sophisticated sampling strategies and classifier-free guidance (CFG) to ensure high-quality generation. However, CFG's reliance on two forward passes, especially when combined with intricate sampling algorithms, results in prohibitively high inference costs. To address this, we introduce TeEFusion (Text Embeddings Fusion), a novel and efficient distillation method that directly incorporates the guidance magnitude into the text embeddings and distills the teacher model's complex sampling strategy. By simply fusing conditional and unconditional text embeddings using linear operations, TeEFusion reconstructs the desired guidance without adding extra parameters, simultaneously enabling the student model to learn from the teacher's output produced via its sophisticated sampling approach. Extensive experiments on state-of-the-art models such as SD3 demonstrate that our method allows the student to closely mimic the teacher's performance with a far simpler and more efficient sampling strategy. Consequently, the student model achieves inference speeds up to 6times faster than the teacher model, while maintaining image quality at levels comparable to those obtained through the teacher's complex sampling approach. The code is publicly available at https://github.com/AIDC-AI/TeEFusion{github.com/AIDC-AI/TeEFusion}.