Amélioration du transfert de style masqué grâce à la convolution partielle mélangée

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

papers.authors: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

papers.abstract

Le transfert de style artistique est depuis longtemps réalisable grâce aux avancées des réseaux neuronaux basés sur les convolutions et les transformeurs. La plupart des algorithmes appliquent le transfert de style artistique à l'ensemble de l'image, mais les utilisateurs individuels peuvent avoir besoin d'appliquer un transfert de style uniquement à une région spécifique de l'image. La pratique standard consiste simplement à masquer l'image après la stylisation. Ce travail montre que cette approche tend à capturer de manière inadéquate les caractéristiques stylistiques dans la région d'intérêt. Nous proposons un réseau de transfert de style basé sur des convolutions partielles qui applique avec précision les caractéristiques stylistiques exclusivement à la région d'intérêt. De plus, nous présentons des techniques de fusion interne au réseau qui prennent en compte les imperfections dans la sélection de la région. Nous démontrons que cela améliore visuellement et quantitativement la stylisation en utilisant des exemples issus du jeu de données SA-1B. Le code est disponible publiquement à l'adresse suivante : https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.