SPF-Portrait: Auf dem Weg zu reiner Porträtindividualisierung mit semantisch verschmutzungsfreiem Feinabgleich

SPF-Portrait: Towards Pure Portrait Customization with Semantic Pollution-Free Fine-tuning

April 1, 2025

Autoren: Xiaole Xian, Zhichao Liao, Qingyu Li, Wenyu Qin, Pengfei Wan, Weicheng Xie, Long Zeng, Linlin Shen, Pingfa Feng

cs.AI

Zusammenfassung

Das Feinabstimmen eines vortrainierten Text-zu-Bild (T2I)-Modells auf einen maßgeschneiderten Porträt-Datensatz ist die gängige Methode für die textgesteuerte Anpassung von Porträtmerkmalen. Aufgrund von semantischer Verschmutzung während des Feinabstimmens haben bestehende Methoden Schwierigkeiten, das ursprüngliche Verhalten des Modells beizubehalten und inkrementelles Lernen bei der Anpassung von Zielmerkmalen zu erreichen. Um dieses Problem zu lösen, schlagen wir SPF-Portrait vor, eine bahnbrechende Arbeit, die darauf abzielt, angepasste Semantik rein zu verstehen und gleichzeitig semantische Verschmutzung bei der textgesteuerten Porträtanpassung zu eliminieren. In unserem SPF-Portrait schlagen wir eine Dual-Path-Pipeline vor, die das ursprüngliche Modell als Referenz für den konventionellen Feinabstimmungspfad einführt. Durch kontrastives Lernen stellen wir sicher, dass eine Anpassung an die Zielmerkmale erfolgt und andere unabhängige Merkmale gezielt mit dem ursprünglichen Porträt abgeglichen werden. Wir führen eine neuartige semantisch bewusste Feinsteuerungskarte ein, die die präzisen Antwortregionen der Zielsemantik darstellt, um den Abgleichprozess zwischen den kontrastiven Pfaden räumlich zu steuern. Dieser Abgleichprozess bewahrt nicht nur effektiv die Leistung des ursprünglichen Modells, sondern vermeidet auch eine Überanpassung. Darüber hinaus schlagen wir einen neuartigen Antwortverstärkungsmechanismus vor, um die Leistung der Zielmerkmale zu verstärken und gleichzeitig die inhärente Darstellungsdiskrepanz bei der direkten cross-modalen Überwachung zu mildern. Umfangreiche Experimente zeigen, dass SPF-Portrait state-of-the-art Leistung erzielt. Projektwebseite: https://spf-portrait.github.io/SPF-Portrait/

English

Fine-tuning a pre-trained Text-to-Image (T2I) model on a tailored portrait dataset is the mainstream method for text-driven customization of portrait attributes. Due to Semantic Pollution during fine-tuning, existing methods struggle to maintain the original model's behavior and achieve incremental learning while customizing target attributes. To address this issue, we propose SPF-Portrait, a pioneering work to purely understand customized semantics while eliminating semantic pollution in text-driven portrait customization. In our SPF-Portrait, we propose a dual-path pipeline that introduces the original model as a reference for the conventional fine-tuning path. Through contrastive learning, we ensure adaptation to target attributes and purposefully align other unrelated attributes with the original portrait. We introduce a novel Semantic-Aware Fine Control Map, which represents the precise response regions of the target semantics, to spatially guide the alignment process between the contrastive paths. This alignment process not only effectively preserves the performance of the original model but also avoids over-alignment. Furthermore, we propose a novel response enhancement mechanism to reinforce the performance of target attributes, while mitigating representation discrepancy inherent in direct cross-modal supervision. Extensive experiments demonstrate that SPF-Portrait achieves state-of-the-art performance. Project webpage: https://spf-portrait.github.io/SPF-Portrait/