Sag mir warum: Visuelle Basismodelle als selbst-erklärende Klassifikatoren

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Autoren: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Zusammenfassung

Visuelle Basismodelle (VFMs) haben aufgrund ihrer Spitzenleistungen zunehmend an Popularität gewonnen. Dennoch bleibt Interpretierbarkeit für kritische Anwendungen von entscheidender Bedeutung. In diesem Sinne zielen selbst-erklärbare Modelle (SEM) darauf ab, interpretierbare Klassifikatoren bereitzustellen, die Vorhersagen in eine gewichtete Summe interpretierbarer Konzepte zerlegen. Trotz ihres Potenzials haben aktuelle Studien gezeigt, dass diese Erklärungen oft an Glaubwürdigkeit mangeln. In dieser Arbeit kombinieren wir VFMs mit einer neuartigen prototypischen Architektur und spezialisierten Trainingszielen. Indem wir nur einen leichten Kopf (ca. 1M Parameter) auf eingefrorenen VFMs trainieren, bietet unser Ansatz (ProtoFM) eine effiziente und interpretierbare Lösung. Evaluierungen zeigen, dass unser Ansatz eine wettbewerbsfähige Klassifikationsleistung erzielt und gleichzeitig bestehende Modelle über eine Reihe von Interpretierbarkeitsmetriken, die aus der Literatur abgeleitet wurden, übertrifft. Der Code ist verfügbar unter https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.