Síntese Eficiente de Imagens com Codificador Latente Esférico

Resumo

A geração de imagens em poucas etapas tem avançado rapidamente, com métodos baseados em consistência e meanflow reduzindo significativamente o número de passos de amostragem. Apesar do baixo custo de inferência, essas abordagens frequentemente sofrem de instabilidade de treinamento e escalabilidade limitada. O Sphere Encoder é uma alternativa recente que produz imagens de alta qualidade em apenas algumas etapas; no entanto, ele requer transições repetidas entre o espaço de pixels e o espaço latente durante a inferência, enquanto otimiza conjuntamente reconstrução e geração em uma única arquitetura. Esse design leva à ineficiência computacional e ao conflito de objetivos entre reconstrução e geração. Para superar essas limitações, desacoplamos a estrutura em um codificador de imagem pré-treinado fixo e um modelo de denoising latente separado, treinado inteiramente em um espaço latente esférico. Nossa abordagem elimina operações repetidas no espaço de pixels durante o treinamento e a inferência, melhorando a eficiência e permitindo que a reconstrução e a geração se especializem de forma independente. Nos conjuntos de dados Animal-Faces, Oxford-Flowers e ImageNet-1K, nosso método supera significativamente o Sphere Encoder tanto em qualidade de geração quanto em velocidade de inferência, ao mesmo tempo que obtém resultados competitivos em relação a fortes baselines de poucas e múltiplas etapas.

English

Few-step image generation has seen rapid progress, with consistency and meanflow-based methods significantly reducing the number of sampling steps. Despite their low inference cost, these approaches often suffer from training instability and limited scalability. Sphere Encoder is a recent alternative that produces high-quality images in only a few steps; however, it requires repeated transitions between the pixel space and latent space during inference while jointly optimizing reconstruction and generation within a single architecture. This design leads to computational inefficiency and objective conflict between reconstruction and generation. To address these limitations, we decouple the framework into a fixed pretrained image encoder and a separate latent denoising model trained entirely in a spherical latent space. Our approach eliminates repeated pixel-space operations during training and inference, improving efficiency and allowing reconstruction and generation to specialize independently. On Animal-Faces, Oxford-Flowers and ImageNet-1K datasets, our method significantly outperforms Sphere Encoder in both generation quality and inference speed, while achieving competitive results against strong few-step and multi-step baselines.