Melhorando a Transferência de Estilo com Máscara usando Convolução Parcial Mista

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

Autores: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

Resumo

A transferência de estilo artístico tem sido possível há muito tempo com os avanços das redes neurais baseadas em convoluções e transformadores. A maioria dos algoritmos aplica a transferência de estilo artístico a toda a imagem, mas usuários individuais podem precisar aplicar a transferência de estilo apenas a uma região específica da imagem. A prática padrão é simplesmente mascarar a imagem após a estilização. Este trabalho mostra que essa abordagem tende a capturar incorretamente as características de estilo na região de interesse. Propomos uma rede de transferência de estilo baseada em convolução parcial que aplica com precisão as características de estilo exclusivamente à região de interesse. Além disso, apresentamos técnicas de mesclagem interna à rede que levam em consideração imperfeições na seleção da região. Demonstramos que isso melhora visual e quantitativamente a estilização usando exemplos do conjunto de dados SA-1B. O código está disponível publicamente em https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.