Mejora de la Transferencia de Estilo Enmascarada mediante Convolución Parcial Mezclada

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

Autores: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

Resumen

La transferencia de estilo artístico ha sido posible durante mucho tiempo gracias a los avances en redes neuronales basadas en convoluciones y transformadores. La mayoría de los algoritmos aplican la transferencia de estilo artístico a toda la imagen, pero los usuarios individuales pueden necesitar aplicar la transferencia de estilo únicamente a una región específica de la imagen. La práctica estándar es simplemente enmascarar la imagen después de la estilización. Este trabajo demuestra que este enfoque tiende a capturar de manera incorrecta las características del estilo en la región de interés. Proponemos una red de transferencia de estilo basada en convoluciones parciales que aplica con precisión las características del estilo exclusivamente a la región de interés. Además, presentamos técnicas de fusión interna en la red que tienen en cuenta las imperfecciones en la selección de la región. Mostramos que esto mejora visual y cuantitativamente la estilización utilizando ejemplos del conjunto de datos SA-1B. El código está disponible públicamente en https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.