Эффективный синтез изображений со сферическим латентным энкодером

Аннотация

Генерация изображений за несколько шагов достигла быстрого прогресса: методы, основанные на согласованности и среднем потоке, значительно сократили количество шагов дискретизации. Несмотря на низкую стоимость инференса, такие подходы часто страдают от нестабильности обучения и ограниченной масштабируемости. Недавней альтернативой является Sphere Encoder, который получает высококачественные изображения всего за несколько шагов; однако он требует многократных переходов между пространством пикселей и скрытым пространством во время инференса при совместной оптимизации реконструкции и генерации в рамках единой архитектуры. Такая конструкция приводит к вычислительной неэффективности и конфликту целей между реконструкцией и генерацией. Чтобы устранить эти ограничения, мы разделяем фреймворк на фиксированный предварительно обученный кодировщик изображений и отдельную латентную модель шумоподавления, обучаемую целиком в сферическом скрытом пространстве. Наш подход исключает повторяющиеся операции в пространстве пикселей во время обучения и инференса, повышая эффективность и позволяя реконструкции и генерации специализироваться независимо. На наборах данных Animal-Faces, Oxford-Flowers и ImageNet-1K наш метод значительно превосходит Sphere Encoder как по качеству генерации, так и по скорости инференса, при этом достигая конкурентоспособных результатов по сравнению с сильными базовыми моделями с несколькими и многими шагами.

English

Few-step image generation has seen rapid progress, with consistency and meanflow-based methods significantly reducing the number of sampling steps. Despite their low inference cost, these approaches often suffer from training instability and limited scalability. Sphere Encoder is a recent alternative that produces high-quality images in only a few steps; however, it requires repeated transitions between the pixel space and latent space during inference while jointly optimizing reconstruction and generation within a single architecture. This design leads to computational inefficiency and objective conflict between reconstruction and generation. To address these limitations, we decouple the framework into a fixed pretrained image encoder and a separate latent denoising model trained entirely in a spherical latent space. Our approach eliminates repeated pixel-space operations during training and inference, improving efficiency and allowing reconstruction and generation to specialize independently. On Animal-Faces, Oxford-Flowers and ImageNet-1K datasets, our method significantly outperforms Sphere Encoder in both generation quality and inference speed, while achieving competitive results against strong few-step and multi-step baselines.