ブレンド部分畳み込みを用いたマスク付きスタイル転送の改善

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

著者: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

要旨

芸術的スタイル変換は、畳み込みおよびトランスフォーマーベースのニューラルネットワークの進歩により、長らく実現可能となってきた。ほとんどのアルゴリズムは、画像全体に芸術的スタイル変換を適用するが、個々のユーザーは画像内の特定の領域にのみスタイル変換を適用したい場合がある。標準的な手法は、スタイル化後に単に画像をマスクすることである。本研究では、このアプローチが関心領域のスタイル特徴を不適切に捉える傾向があることを示す。我々は、関心領域にのみ正確にスタイル特徴を適用する部分畳み込みベースのスタイル変換ネットワークを提案する。さらに、領域選択の不完全さを考慮したネットワーク内部のブレンディング技術を提示する。SA-1Bデータセットの例を用いて、この手法が視覚的および定量的にスタイル化を改善することを示す。コードはhttps://github.com/davidmhart/StyleTransferMaskedで公開されている。

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.