Улучшение маскированного переноса стиля с использованием смешанной частичной свертки

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

Авторы: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

Аннотация

Перенос художественного стиля стал возможен благодаря развитию сверточных и трансформерных нейронных сетей. Большинство алгоритмов применяют перенос стиля ко всему изображению, однако отдельные пользователи могут нуждаться в применении стиля только к определенной области изображения. Стандартная практика заключается в простом маскировании изображения после стилизации. В данной работе показано, что такой подход часто некорректно захватывает стилевые особенности в интересующей области. Мы предлагаем сеть для переноса стиля на основе частичной свертки, которая точно применяет стилевые особенности исключительно к выбранной области. Кроме того, мы представляем методы внутреннего слияния в сети, которые учитывают неточности в выборе области. Мы демонстрируем, что это визуально и количественно улучшает стилизацию на примерах из набора данных SA-1B. Код доступен по адресу https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.