SINGを実現する：分類器における意味論的不変性の分析

要旨

最先端の視覚モデルを含む全ての分類器は、その線形写像の幾何学的構造に一部由来する不変量を有している。これらの不変量は分類器の零空間に存在し、同一の出力に写像される等価な入力セットを誘導する。既存の手法では人間が解釈可能な情報を提供することが困難なため、これらの不変量の意味論的内容は未だ不明確である。この問題を解決するため、我々はSemantic Interpretation of the Null-space Geometry（SING）を提案する。この手法は、ネットワークに対して等価な画像を構築し、利用可能な変動に意味論的解釈を付与する。ネットワークの特徴量からマルチモーダル視覚言語モデルへの写像を用いることで、誘導された意味論的変化に関する自然言語記述と視覚的例を得ることが可能となる。SINGは単一画像に適用して局所的不変量を明らかにすることも、画像セットに適用してクラスレベルやモデルレベルでの幅広い統計分析を可能とする。例えば本手法により、ResNet50は関連する意味的属性を零空間に漏洩させる一方で、自己教師ありDINOで事前学習されたViTであるDinoViTは、不変空間全体でクラス意味論を保持する点で優れていることが明らかとなった。

English

All classifiers, including state-of-the-art vision models, possess invariants, partially rooted in the geometry of their linear mappings. These invariants, which reside in the null-space of the classifier, induce equivalent sets of inputs that map to identical outputs. The semantic content of these invariants remains vague, as existing approaches struggle to provide human-interpretable information. To address this gap, we present Semantic Interpretation of the Null-space Geometry (SING), a method that constructs equivalent images, with respect to the network, and assigns semantic interpretations to the available variations. We use a mapping from network features to multi-modal vision language models. This allows us to obtain natural language descriptions and visual examples of the induced semantic shifts. SING can be applied to a single image, uncovering local invariants, or to sets of images, allowing a breadth of statistical analysis at the class and model levels. For example, our method reveals that ResNet50 leaks relevant semantic attributes to the null space, whereas DinoViT, a ViT pretrained with self-supervised DINO, is superior in maintaining class semantics across the invariant space.

SINGを実現する：分類器における意味論的不変性の分析

Make it SING: Analyzing Semantic Invariants in Classifiers

要旨

Support