Diga-me por quê: Modelos de fundação visual como classificadores autoexplicáveis

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Autores: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Resumo

Modelos de fundação visual (VFMs, na sigla em inglês) têm se tornado cada vez mais populares devido ao seu desempenho de ponta. No entanto, a interpretabilidade continua sendo crucial para aplicações críticas. Nesse sentido, modelos autoexplicáveis (SEM, na sigla em inglês) visam fornecer classificadores interpretáveis que decompõem previsões em uma soma ponderada de conceitos interpretáveis. Apesar de sua promessa, estudos recentes mostraram que essas explicações frequentemente carecem de fidelidade. Neste trabalho, combinamos VFMs com uma nova arquitetura prototípica e objetivos de treinamento especializados. Ao treinar apenas uma cabeça leve (aproximadamente 1 milhão de parâmetros) sobre VFMs congelados, nossa abordagem (ProtoFM) oferece uma solução eficiente e interpretável. As avaliações demonstram que nossa abordagem alcança desempenho competitivo em classificação, superando modelos existentes em uma variedade de métricas de interpretabilidade derivadas da literatura. O código está disponível em https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.