Faça-o CANTAR: Analisando Invariantes Semânticos em Classificadores

Make it SING: Analyzing Semantic Invariants in Classifiers

March 15, 2026

Autores: Harel Yadid, Meir Yossef Levi, Roy Betser, Guy Gilboa

cs.AI

Resumo

Todos os classificadores, incluindo modelos de visão computacional de última geração, possuem invariantes, parcialmente enraizados na geometria de seus mapeamentos lineares. Esses invariantes, que residem no espaço nulo do classificador, induzem conjuntos equivalentes de entradas que mapeiam para saídas idênticas. O conteúdo semântico desses invariantes permanece vago, uma vez que as abordagens existentes lutam para fornecer informações interpretáveis por humanos. Para preencher essa lacuna, apresentamos a Interpretação Semântica da Geometria do Espaço Nulo (SING), um método que constrói imagens equivalentes, em relação à rede, e atribui interpretações semânticas às variações disponíveis. Utilizamos um mapeamento de características da rede para modelos de linguagem visual multimodal. Isso nos permite obter descrições em linguagem natural e exemplos visuais das mudanças semânticas induzidas. O SING pode ser aplicado a uma única imagem, revelando invariantes locais, ou a conjuntos de imagens, permitindo uma ampla análise estatística nos níveis de classe e modelo. Por exemplo, nosso método revela que o ResNet50 vaza atributos semânticos relevantes para o espaço nulo, enquanto o DinoViT, um ViT pré-treinado com DINO auto supervisionado, é superior em manter a semântica da classe através do espaço invariante.

English

All classifiers, including state-of-the-art vision models, possess invariants, partially rooted in the geometry of their linear mappings. These invariants, which reside in the null-space of the classifier, induce equivalent sets of inputs that map to identical outputs. The semantic content of these invariants remains vague, as existing approaches struggle to provide human-interpretable information. To address this gap, we present Semantic Interpretation of the Null-space Geometry (SING), a method that constructs equivalent images, with respect to the network, and assigns semantic interpretations to the available variations. We use a mapping from network features to multi-modal vision language models. This allows us to obtain natural language descriptions and visual examples of the induced semantic shifts. SING can be applied to a single image, uncovering local invariants, or to sets of images, allowing a breadth of statistical analysis at the class and model levels. For example, our method reveals that ResNet50 leaks relevant semantic attributes to the null space, whereas DinoViT, a ViT pretrained with self-supervised DINO, is superior in maintaining class semantics across the invariant space.