블렌디드 부분 합성곱을 활용한 마스크 스타일 전이 성능 개선

Improving Masked Style Transfer using Blended Partial Convolution

August 7, 2025

저자: Seyed Hadi Seyed, Ayberk Cansever, David Hart

cs.AI

초록

예술적 스타일 변환은 컨볼루션 및 트랜스포머 기반 신경망의 발전으로 오랫동안 가능해져 왔다. 대부분의 알고리즘은 전체 이미지에 예술적 스타일 변환을 적용하지만, 개별 사용자는 이미지의 특정 영역에만 스타일 변환을 적용하고자 할 수 있다. 일반적인 관행은 스타일화 후 이미지를 단순히 마스킹하는 것이다. 본 연구는 이러한 접근 방식이 관심 영역의 스타일 특징을 부적절하게 포착하는 경향이 있음을 보여준다. 우리는 관심 영역에만 정확하게 스타일 특징을 적용하는 부분 컨볼루션 기반 스타일 변환 네트워크를 제안한다. 또한, 영역 선택의 불완전성을 고려한 네트워크 내부 블렌딩 기법을 제시한다. 우리는 SA-1B 데이터셋의 예시를 통해 이러한 방법이 시각적 및 정량적으로 스타일화를 개선함을 보여준다. 코드는 https://github.com/davidmhart/StyleTransferMasked에서 공개되어 있다.

English

Artistic style transfer has long been possible with the advancements of convolution- and transformer-based neural networks. Most algorithms apply the artistic style transfer to the whole image, but individual users may only need to apply a style transfer to a specific region in the image. The standard practice is to simply mask the image after the stylization. This work shows that this approach tends to improperly capture the style features in the region of interest. We propose a partial-convolution-based style transfer network that accurately applies the style features exclusively to the region of interest. Additionally, we present network-internal blending techniques that account for imperfections in the region selection. We show that this visually and quantitatively improves stylization using examples from the SA-1B dataset. Code is publicly available at https://github.com/davidmhart/StyleTransferMasked.