Verbetering van Gemaskeerde Stijloverdracht met Geblende Gedeeltelijke Convolutie

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

Auteurs: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

Samenvatting

Artistieke stijloverdracht is al lang mogelijk dankzij de vooruitgang in convolution- en transformer-gebaseerde neurale netwerken. De meeste algoritmen passen de artistieke stijloverdracht toe op de hele afbeelding, maar individuele gebruikers hebben mogelijk alleen behoefte aan stijloverdracht in een specifiek gebied van de afbeelding. De standaardpraktijk is om de afbeelding eenvoudigweg te maskeren na de stilisering. Dit werk toont aan dat deze aanpak de stijlkenmerken in het interessegebied vaak onjuist vastlegt. Wij stellen een op partiële convolutie gebaseerd stijloverdrachtsnetwerk voor dat de stijlkenmerken nauwkeurig toepast uitsluitend op het interessegebied. Daarnaast presenteren we netwerkinterne blendingtechnieken die rekening houden met imperfecties in de gebiedsselectie. We tonen aan dat dit visueel en kwantitatief betere stilisering oplevert aan de hand van voorbeelden uit de SA-1B dataset. De code is publiekelijk beschikbaar op https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.