Dime por qué: Modelos visuales fundamentales como clasificadores autoexplicables

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Autores: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Resumen

Los modelos de base visual (VFMs, por sus siglas en inglés) han ganado popularidad debido a su rendimiento de vanguardia. Sin embargo, la interpretabilidad sigue siendo crucial para aplicaciones críticas. En este sentido, los modelos autoexplicables (SEM) buscan proporcionar clasificadores interpretables que descompongan las predicciones en una suma ponderada de conceptos interpretables. A pesar de su potencial, estudios recientes han demostrado que estas explicaciones a menudo carecen de fidelidad. En este trabajo, combinamos VFMs con una arquitectura prototípica novedosa y objetivos de entrenamiento especializados. Al entrenar únicamente una cabeza ligera (aproximadamente 1 millón de parámetros) sobre VFMs congelados, nuestro enfoque (ProtoFM) ofrece una solución eficiente e interpretable. Las evaluaciones demuestran que nuestro enfoque logra un rendimiento competitivo en clasificación, superando a los modelos existentes en una variedad de métricas de interpretabilidad derivadas de la literatura. El código está disponible en https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.