SPF-Portrait: Hacia una personalización pura de retratos con ajuste fino libre de contaminación semántica

SPF-Portrait: Towards Pure Portrait Customization with Semantic Pollution-Free Fine-tuning

April 1, 2025

Autores: Xiaole Xian, Zhichao Liao, Qingyu Li, Wenyu Qin, Pengfei Wan, Weicheng Xie, Long Zeng, Linlin Shen, Pingfa Feng

cs.AI

Resumen

El ajuste fino de un modelo preentrenado de Texto a Imagen (T2I) en un conjunto de datos de retratos personalizados es el método principal para la personalización de atributos de retratos impulsada por texto. Debido a la Contaminación Semántica durante el ajuste fino, los métodos existentes tienen dificultades para mantener el comportamiento original del modelo y lograr un aprendizaje incremental mientras se personalizan los atributos objetivo. Para abordar este problema, proponemos SPF-Portrait, un trabajo pionero que busca comprender puramente la semántica personalizada mientras elimina la contaminación semántica en la personalización de retratos impulsada por texto. En nuestro SPF-Portrait, proponemos una canalización de doble vía que introduce el modelo original como referencia para la vía convencional de ajuste fino. A través del aprendizaje contrastivo, aseguramos la adaptación a los atributos objetivo y alineamos intencionalmente otros atributos no relacionados con el retrato original. Introducimos un nuevo Mapa de Control Fino Semántico, que representa las regiones de respuesta precisas de la semántica objetivo, para guiar espacialmente el proceso de alineación entre las vías contrastivas. Este proceso de alineación no solo preserva efectivamente el rendimiento del modelo original, sino que también evita la sobrealineación. Además, proponemos un nuevo mecanismo de mejora de respuesta para reforzar el rendimiento de los atributos objetivo, mitigando la discrepancia de representación inherente en la supervisión directa entre modalidades. Experimentos extensos demuestran que SPF-Portrait alcanza un rendimiento de vanguardia. Página del proyecto: https://spf-portrait.github.io/SPF-Portrait/

English

Fine-tuning a pre-trained Text-to-Image (T2I) model on a tailored portrait dataset is the mainstream method for text-driven customization of portrait attributes. Due to Semantic Pollution during fine-tuning, existing methods struggle to maintain the original model's behavior and achieve incremental learning while customizing target attributes. To address this issue, we propose SPF-Portrait, a pioneering work to purely understand customized semantics while eliminating semantic pollution in text-driven portrait customization. In our SPF-Portrait, we propose a dual-path pipeline that introduces the original model as a reference for the conventional fine-tuning path. Through contrastive learning, we ensure adaptation to target attributes and purposefully align other unrelated attributes with the original portrait. We introduce a novel Semantic-Aware Fine Control Map, which represents the precise response regions of the target semantics, to spatially guide the alignment process between the contrastive paths. This alignment process not only effectively preserves the performance of the original model but also avoids over-alignment. Furthermore, we propose a novel response enhancement mechanism to reinforce the performance of target attributes, while mitigating representation discrepancy inherent in direct cross-modal supervision. Extensive experiments demonstrate that SPF-Portrait achieves state-of-the-art performance. Project webpage: https://spf-portrait.github.io/SPF-Portrait/