Vertel me waarom: Visuele foundation-modellen als zelfverklarende classificatoren

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Auteurs: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Samenvatting

Visuele foundationmodellen (VFMs) zijn steeds populairder geworden vanwege hun state-of-the-art prestaties. Interpretatie blijft echter cruciaal voor kritieke toepassingen. In deze context streven zelf-verklaarbare modellen (SEM) ernaar om interpreteerbare classificatoren te bieden die voorspellingen ontbinden in een gewogen som van interpreteerbare concepten. Ondanks hun belofte hebben recente studies aangetoond dat deze verklaringen vaak gebrek aan trouw vertonen. In dit werk combineren we VFMs met een nieuwe prototypische architectuur en gespecialiseerde trainingsdoelen. Door alleen een lichtgewicht hoofd (ongeveer 1M parameters) te trainen bovenop bevroren VFMs, biedt onze aanpak (ProtoFM) een efficiënte en interpreteerbare oplossing. Evaluaties tonen aan dat onze aanpak competitieve classificatieprestaties bereikt terwijl het bestaande modellen overtreft op een reeks interpreteerbaarheidsmetrieken afgeleid uit de literatuur. Code is beschikbaar op https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.