Verbesserung des Maskierten Stiltransfers durch Verwendung von Gemischter Partieller Faltung

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

papers.authors: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

papers.abstract

Künstlerischer Stiltransfer ist dank der Fortschritte bei faltungs- und transformer-basierten neuronalen Netzwerken seit langem möglich. Die meisten Algorithmen wenden den künstlerischen Stiltransfer auf das gesamte Bild an, doch individuelle Benutzer möchten möglicherweise den Stiltransfer nur auf einen bestimmten Bereich des Bildes anwenden. Die gängige Praxis besteht darin, das Bild nach der Stilisierung einfach zu maskieren. Diese Arbeit zeigt, dass dieser Ansatz dazu neigt, die Stilmerkmale im interessierenden Bereich nicht korrekt zu erfassen. Wir schlagen ein partiell faltungsbasiertes Stiltransfer-Netzwerk vor, das die Stilmerkmale exklusiv auf den interessierenden Bereich anwendet. Zusätzlich präsentieren wir netzwerkinternes Blending, das Unvollkommenheiten bei der Bereichsauswahl berücksichtigt. Wir zeigen, dass dies die Stilisierung visuell und quantitativ verbessert, anhand von Beispielen aus dem SA-1B-Datensatz. Der Code ist öffentlich verfügbar unter https://github.com/davidmhart/StyleTransferMasked.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.