Jenseits linearer Engpässe: Spline-basierte Wissensdistillation für die Klassifikation kulturell diverser Kunststile

Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification

July 31, 2025

papers.authors: Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Cosimo Distante, Abdelmalik Taleb-Ahmed

cs.AI

papers.abstract

Die Klassifizierung von Kunststilen bleibt eine herausfordernde Aufgabe in der computergestützten Ästhetik, bedingt durch die Knappheit an fachkundig annotierten Datensätzen und das komplexe, oft nichtlineare Zusammenspiel stilistischer Elemente. Obwohl neuere duale Lehrer-Selbstüberwachungs-Frameworks die Abhängigkeit von annotierten Daten verringern, haben ihre linearen Projektionsschichten und der lokalisierte Fokus Schwierigkeiten, globale kompositorische Zusammenhänge und komplexe Stil-Merkmal-Interaktionen zu modellieren. Wir verbessern das duale Lehrer-Wissensdistillations-Framework, um diese Einschränkungen zu überwinden, indem wir konventionelle MLP-Projektionen und Vorhersageköpfe durch Kolmogorov-Arnold-Netzwerke (KANs) ersetzen. Unser Ansatz behält die komplementäre Führung durch zwei Lehrernetzwerke bei, wobei eines lokalisierte Textur- und Pinselstrichmuster betont und das andere breitere stilistische Hierarchien erfasst, während die spline-basierten Aktivierungen der KANs genutzt werden, um nichtlineare Merkmalskorrelationen mit mathematischer Präzision zu modellieren. Experimente auf WikiArt und Pandora18k zeigen, dass unser Ansatz die Basisarchitektur des dualen Lehrers in der Top-1-Genauigkeit übertrifft. Unsere Ergebnisse unterstreichen die Bedeutung von KANs bei der Entflechtung komplexer Stilmannigfaltigkeiten, was zu einer besseren Genauigkeit linearer Sonden im Vergleich zu MLP-Projektionen führt.

English

Art style classification remains a formidable challenge in computational aesthetics due to the scarcity of expertly labeled datasets and the intricate, often nonlinear interplay of stylistic elements. While recent dual-teacher self-supervised frameworks reduce reliance on labeled data, their linear projection layers and localized focus struggle to model global compositional context and complex style-feature interactions. We enhance the dual-teacher knowledge distillation framework to address these limitations by replacing conventional MLP projection and prediction heads with Kolmogorov-Arnold Networks (KANs). Our approach retains complementary guidance from two teacher networks, one emphasizing localized texture and brushstroke patterns, the other capturing broader stylistic hierarchies while leveraging KANs' spline-based activations to model nonlinear feature correlations with mathematical precision. Experiments on WikiArt and Pandora18k demonstrate that our approach outperforms the base dual teacher architecture in Top-1 accuracy. Our findings highlight the importance of KANs in disentangling complex style manifolds, leading to better linear probe accuracy than MLP projections.