Dimmi perché: Modelli visivi di base come classificatori auto-esplicativi

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Autori: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Abstract

I modelli visivi di base (VFMs) stanno diventando sempre più popolari grazie alle loro prestazioni all'avanguardia. Tuttavia, l'interpretabilità rimane cruciale per applicazioni critiche. In questo senso, i modelli auto-esplicativi (SEM) mirano a fornire classificatori interpretabili che scompongono le previsioni in una somma ponderata di concetti interpretabili. Nonostante le loro promesse, studi recenti hanno dimostrato che queste spiegazioni spesso mancano di fedeltà. In questo lavoro, combiniamo i VFM con una nuova architettura prototipica e obiettivi di formazione specializzati. Addestrando solo una testa leggera (circa 1M di parametri) su VFM congelati, il nostro approccio (ProtoFM) offre una soluzione efficiente e interpretabile. Le valutazioni dimostrano che il nostro approccio raggiunge prestazioni competitive nella classificazione, superando i modelli esistenti in una gamma di metriche di interpretabilità derivate dalla letteratura. Il codice è disponibile all'indirizzo https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.