Miglioramento del Trasferimento di Stile con Maschera utilizzando la Convoluzione Parziale Mista

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

Autori: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

Abstract

Il trasferimento di stile artistico è stato a lungo possibile grazie ai progressi delle reti neurali basate su convoluzioni e trasformatori. La maggior parte degli algoritmi applica il trasferimento di stile artistico all'intera immagine, ma gli utenti potrebbero aver bisogno di applicarlo solo a una regione specifica dell'immagine. La pratica standard consiste semplicemente nel mascherare l'immagine dopo la stilizzazione. Questo lavoro dimostra che tale approccio tende a catturare in modo improprio le caratteristiche stilistiche nella regione di interesse. Proponiamo una rete di trasferimento di stile basata su convoluzioni parziali che applica accuratamente le caratteristiche stilistiche esclusivamente alla regione di interesse. Inoltre, presentiamo tecniche di fusione interne alla rete che tengono conto delle imperfezioni nella selezione della regione. Dimostriamo che questo migliora visivamente e quantitativamente la stilizzazione utilizzando esempi tratti dal dataset SA-1B. Il codice è disponibile pubblicamente all'indirizzo https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.