Hazlo CANTAR: Análisis de Invariantes Semánticas en Clasificadores

Make it SING: Analyzing Semantic Invariants in Classifiers

March 15, 2026

Autores: Harel Yadid, Meir Yossef Levi, Roy Betser, Guy Gilboa

cs.AI

Resumen

Todos los clasificadores, incluidos los modelos de visión de última generación, poseen invariantes, parcialmente arraigados en la geometría de sus mapeos lineales. Estas invariantes, que residen en el espacio nulo del clasificador, inducen conjuntos equivalentes de entradas que se asignan a salidas idénticas. El contenido semántico de estas invariantes sigue siendo vago, ya que los enfoques existentes tienen dificultades para proporcionar información interpretable para humanos. Para abordar esta brecha, presentamos SING (Interpretación Semántica de la Geometría del Espacio Nulo), un método que construye imágenes equivalentes, con respecto a la red, y asigna interpretaciones semánticas a las variaciones disponibles. Utilizamos un mapeo desde las características de la red hacia modelos de lenguaje visual multimodal. Esto nos permite obtener descripciones en lenguaje natural y ejemplos visuales de los cambios semánticos inducidos. SING puede aplicarse a una sola imagen, descubriendo invariantes locales, o a conjuntos de imágenes, permitiendo una amplia gama de análisis estadísticos a nivel de clase y de modelo. Por ejemplo, nuestro método revela que ResNet50 filtra atributos semánticos relevantes al espacio nulo, mientras que DinoViT, un Transformer de Visión (ViT) preentrenado con DINO auto-supervisado, es superior en el mantenimiento de la semántica de clase a través del espacio invariante.

English

All classifiers, including state-of-the-art vision models, possess invariants, partially rooted in the geometry of their linear mappings. These invariants, which reside in the null-space of the classifier, induce equivalent sets of inputs that map to identical outputs. The semantic content of these invariants remains vague, as existing approaches struggle to provide human-interpretable information. To address this gap, we present Semantic Interpretation of the Null-space Geometry (SING), a method that constructs equivalent images, with respect to the network, and assigns semantic interpretations to the available variations. We use a mapping from network features to multi-modal vision language models. This allows us to obtain natural language descriptions and visual examples of the induced semantic shifts. SING can be applied to a single image, uncovering local invariants, or to sets of images, allowing a breadth of statistical analysis at the class and model levels. For example, our method reveals that ResNet50 leaks relevant semantic attributes to the null space, whereas DinoViT, a ViT pretrained with self-supervised DINO, is superior in maintaining class semantics across the invariant space.