Rendilo CANTO: Analisi delle Invarianti Semantiche nei Classificatori

Make it SING: Analyzing Semantic Invariants in Classifiers

March 15, 2026

Autori: Harel Yadid, Meir Yossef Levi, Roy Betser, Guy Gilboa

cs.AI

Abstract

Tutti i classificatori, inclusi i modelli visivi all'avanguardia, possiedono invarianti, parzialmente radicati nella geometria delle loro mappature lineari. Questi invarianti, che risiedono nel null-space del classificatore, inducono insiemi equivalenti di input che mappano su output identici. Il contenuto semantico di questi invarianti rimane vago, poiché gli approcci esistenti faticano a fornire informazioni interpretabili dall'uomo. Per colmare questa lacuna, presentiamo l'Interpretazione Semantica della Geometria del Null-Space (SING), un metodo che costruisce immagini equivalenti, rispetto alla rete, e assegna interpretazioni semantiche alle variazioni disponibili. Utilizziamo una mappatura dalle feature della rete a modelli linguistici visivi multimodali. Questo ci consente di ottenere descrizioni in linguaggio naturale ed esempi visivi degli spostamenti semantici indotti. SING può essere applicato a una singola immagine, scoprendo invarianti locali, o a insiemi di immagini, consentendo un'ampia analisi statistica a livello di classe e di modello. Ad esempio, il nostro metodo rivela che ResNet50 perde attributi semantici rilevanti nel null-space, mentre DinoViT, un ViT preaddestrato con DINO auto-supervisionato, è superiore nel mantenere la semantica di classe attraverso lo spazio invariante.

English

All classifiers, including state-of-the-art vision models, possess invariants, partially rooted in the geometry of their linear mappings. These invariants, which reside in the null-space of the classifier, induce equivalent sets of inputs that map to identical outputs. The semantic content of these invariants remains vague, as existing approaches struggle to provide human-interpretable information. To address this gap, we present Semantic Interpretation of the Null-space Geometry (SING), a method that constructs equivalent images, with respect to the network, and assigns semantic interpretations to the available variations. We use a mapping from network features to multi-modal vision language models. This allows us to obtain natural language descriptions and visual examples of the induced semantic shifts. SING can be applied to a single image, uncovering local invariants, or to sets of images, allowing a breadth of statistical analysis at the class and model levels. For example, our method reveals that ResNet50 leaks relevant semantic attributes to the null space, whereas DinoViT, a ViT pretrained with self-supervised DINO, is superior in maintaining class semantics across the invariant space.