선형 병목 현상을 넘어서: 문화적으로 다양한 예술 스타일 분류를 위한 스플라인 기반 지식 증류

Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification

July 31, 2025

저자: Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Cosimo Distante, Abdelmalik Taleb-Ahmed

cs.AI

초록

예술 스타일 분류는 전문적으로 라벨링된 데이터셋의 부족과 스타일 요소 간의 복잡하고 비선형적인 상호작용으로 인해 계산 미학 분야에서 여전히 큰 도전 과제로 남아 있다. 최근 이중 교사 자기 지도 학습 프레임워크가 라벨링된 데이터에 대한 의존도를 줄였지만, 선형 투영 층과 지역적 초점으로 인해 전역적인 구성적 맥락과 복잡한 스타일-특성 상호작용을 모델링하는 데 어려움을 겪고 있다. 본 연구에서는 이러한 한계를 해결하기 위해 기존의 MLP 투영 및 예측 헤드를 Kolmogorov-Arnold Networks(KANs)로 대체하여 이중 교사 지식 증류 프레임워크를 개선하였다. 우리의 접근 방식은 두 교사 네트워크로부터 상호 보완적인 지도를 유지하며, 하나는 지역적인 질감과 붓터치 패턴을 강조하고, 다른 하나는 더 넓은 스타일적 계층 구조를 포착하면서 KANs의 스플라인 기반 활성화를 활용하여 비선형 특성 상관관계를 수학적 정밀도로 모델링한다. WikiArt과 Pandora18k 데이터셋에서의 실험 결과, 우리의 접근 방식이 기본 이중 교사 아키텍처보다 Top-1 정확도에서 우수한 성능을 보였다. 우리의 연구 결과는 복잡한 스타일 매니폴드를 해체하는 데 있어 KANs의 중요성을 강조하며, MLP 투영보다 더 나은 선형 프로브 정확도를 이끌어냈다.

English

Art style classification remains a formidable challenge in computational aesthetics due to the scarcity of expertly labeled datasets and the intricate, often nonlinear interplay of stylistic elements. While recent dual-teacher self-supervised frameworks reduce reliance on labeled data, their linear projection layers and localized focus struggle to model global compositional context and complex style-feature interactions. We enhance the dual-teacher knowledge distillation framework to address these limitations by replacing conventional MLP projection and prediction heads with Kolmogorov-Arnold Networks (KANs). Our approach retains complementary guidance from two teacher networks, one emphasizing localized texture and brushstroke patterns, the other capturing broader stylistic hierarchies while leveraging KANs' spline-based activations to model nonlinear feature correlations with mathematical precision. Experiments on WikiArt and Pandora18k demonstrate that our approach outperforms the base dual teacher architecture in Top-1 accuracy. Our findings highlight the importance of KANs in disentangling complex style manifolds, leading to better linear probe accuracy than MLP projections.