ZePo: Nullschuss-Porträt-Stilisierung mit schnellerer Abtastung

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

Autoren: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

Zusammenfassung

Diffusionsbasierte Text-zu-Bild-Generierungsmodelle haben das Feld der Kunstinhaltssynthese erheblich vorangetrieben. Allerdings erfordern aktuelle Porträt-Stilisierungsmethoden in der Regel entweder eine Feinabstimmung des Modells anhand von Beispielen oder die Anwendung der DDIM-Inversion, um Bilder in den Rauschraum zurückzuführen, was den Bildgenerierungsprozess erheblich verlangsamt. Um diese Einschränkungen zu überwinden, präsentiert diese Arbeit ein Inversionsfreies Porträt-Stilisierungsrahmenwerk auf Basis von Diffusionsmodellen, das die Fusion von Inhalt und Stilmerkmalen in lediglich vier Abtastschritten erreicht. Wir haben festgestellt, dass Latente Konsistenzmodelle, die Konsistenzdestillation einsetzen, effektiv repräsentative Konsistenzmerkmale aus rauschigen Bildern extrahieren können. Um die aus Inhalt und Stilbildern extrahierten Konsistenzmerkmale zu verschmelzen, führen wir eine Technik zur Stilverbesserungs-Aufmerksamkeitskontrolle ein, die Inhalt und Stilmerkmale sorgfältig im Aufmerksamkeitsraum des Zielbildes fusioniert. Darüber hinaus schlagen wir eine Merkmalsverschmelzungsstrategie vor, um redundante Merkmale in den Konsistenzmerkmalen zu amalgamieren und damit die Rechenlast der Aufmerksamkeitskontrolle zu reduzieren. Umfangreiche Experimente haben die Wirksamkeit unseres vorgeschlagenen Rahmens bei der Verbesserung der Stilisierungseffizienz und -treue bestätigt. Der Code ist verfügbar unter https://github.com/liujin112/ZePo.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.