ZePo: Стилизация портретов без обучения с ускоренной выборкой

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

Авторы: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

Аннотация

Модели генерации изображений на основе диффузии значительно продвинули область синтеза контента искусства. Однако текущие методы стилизации портретов обычно требуют либо тонкой настройки модели на основе примеров, либо применения инверсии DDIM для возврата изображений в пространство шума, что существенно замедляет процесс генерации изображений. Для преодоления этих ограничений в данной статье представлена рамочная модель стилизации портретов без инверсии на основе моделей диффузии, которая осуществляет слияние содержательных и стилевых признаков всего лишь за четыре этапа выборки. Мы обнаружили, что модели латентной согласованности, использующие дистилляцию согласованности, могут эффективно извлекать репрезентативные признаки согласованности из зашумленных изображений. Для слияния признаков согласованности, извлеченных из содержательных и стилевых изображений, мы предлагаем технику контроля внимания улучшения стиля, которая тщательно объединяет содержательные и стилевые признаки в пространстве внимания целевого изображения. Более того, мы предлагаем стратегию слияния признаков для объединения избыточных признаков в признаках согласованности, тем самым уменьшая вычислительную нагрузку контроля внимания. Обширные эксперименты подтвердили эффективность нашей предложенной рамочной модели в улучшении эффективности и достоверности стилизации. Код доступен по ссылке https://github.com/liujin112/ZePo.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.