Voorbij Lineaire Knelpunten: Spline-gebaseerde Kennisdistillatie voor Cultureel Diverse Kunststijlclassificatie

Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification

July 31, 2025

Auteurs: Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Cosimo Distante, Abdelmalik Taleb-Ahmed

cs.AI

Samenvatting

Kunststijlclassificatie blijft een formidabele uitdaging in computationele esthetiek vanwege de schaarste aan deskundig gelabelde datasets en het ingewikkelde, vaak niet-lineaire samenspel van stilistische elementen. Hoewel recente dual-teacher zelfgesuperviseerde frameworks de afhankelijkheid van gelabelde data verminderen, hebben hun lineaire projectielagen en gelokaliseerde focus moeite met het modelleren van globale compositorische context en complexe stijlkenmerkinteracties. Wij verbeteren het dual-teacher kennisdistillatiekader om deze beperkingen aan te pakken door conventionele MLP-projectie- en voorspellingskoppen te vervangen door Kolmogorov-Arnold Netwerken (KANs). Onze aanpak behoudt complementaire begeleiding van twee leraarnetwerken, waarbij de ene zich richt op gelokaliseerde textuur- en penseelstreekpatronen en de andere bredere stilistische hiërarchieën vastlegt, terwijl KANs' spline-gebaseerde activaties worden benut om niet-lineaire kenmerkcorrelaties met wiskundige precisie te modelleren. Experimenten op WikiArt en Pandora18k tonen aan dat onze aanpak de basis dual-teacher-architectuur overtreft in Top-1 nauwkeurigheid. Onze bevindingen benadrukken het belang van KANs bij het ontwarren van complexe stijlmanifolden, wat leidt tot betere lineaire probe-nauwkeurigheid dan MLP-projecties.

English

Art style classification remains a formidable challenge in computational aesthetics due to the scarcity of expertly labeled datasets and the intricate, often nonlinear interplay of stylistic elements. While recent dual-teacher self-supervised frameworks reduce reliance on labeled data, their linear projection layers and localized focus struggle to model global compositional context and complex style-feature interactions. We enhance the dual-teacher knowledge distillation framework to address these limitations by replacing conventional MLP projection and prediction heads with Kolmogorov-Arnold Networks (KANs). Our approach retains complementary guidance from two teacher networks, one emphasizing localized texture and brushstroke patterns, the other capturing broader stylistic hierarchies while leveraging KANs' spline-based activations to model nonlinear feature correlations with mathematical precision. Experiments on WikiArt and Pandora18k demonstrate that our approach outperforms the base dual teacher architecture in Top-1 accuracy. Our findings highlight the importance of KANs in disentangling complex style manifolds, leading to better linear probe accuracy than MLP projections.