超ニューロンを用いたカテゴリカルVQAの近道学習

要旨

スパースアテンションベクトル（SAV）は、視覚言語モデル（VLM）の性能向上を目的とした、教師ありファインチューニングや低ランク適応の優れた訓練不要の代替手法として登場している。SAVの核心は、対象タスクにおいて少数の正確なアテンションヘッドを選択し、モデルの予測に依存するのではなく、それらを分類器として利用する点にある。同様の精神に基づき、我々はVLMの生の活性化をスカラー値の形で直接プローブすることが、多様な視覚的基盤を持つ下流タスクにおいて正確な分類器を生成するのに十分であることを発見した。アテンションベクトルからスカラー活性化へ焦点を移すことで、正確なパラメータの探索空間が劇的に拡大し、最初に生成されたトークンから即座により識別性の高いニューロンを見つけることを可能にする。我々はこのような活性化を「スーパーニューロン（SN）」と呼ぶ。このプロービング設定において、大規模言語モデルの浅い層に十分なSNが出現し、最初に生成されたトークンの段階で、モデルの第一層から極端に早期退出（early exiting）することを可能にすることを明らかにした。元のネットワークと比較して、SNは分類性能を頑健に改善しつつ、最大5.10倍の高速化を達成する。

English

Sparse Attention Vectors (SAVs) have emerged as an excellent training-free alternative to supervised finetuning or low-rank adaptation to improve the performance of Vision Language Models (VLMs). At their heart, SAVs select a few accurate attention heads for a task of interest and use them as classifiers, rather than relying on the model's prediction. In a similar spirit, we find that directly probing the raw activations of the VLM, in the form of scalar values, is sufficient to yield accurate classifiers on diverse visually grounded downstream tasks. Shifting focus from attention vectors to scalar activations dramatically increases the search space for accurate parameters, allowing us to find more discriminative neurons immediately from the first generated token. We call such activations Super Neurons (SNs). In this probing setting, we discover that enough SNs appear in the shallower layers of the large language model to allow for extreme early exiting from the first layer of the model at the first generated token. Compared to the original network, SNs robustly improve the classification performance while achieving a speedup of up to 5.10x.

超ニューロンを用いたカテゴリカルVQAの近道学習

Taking Shortcuts for Categorical VQA Using Super Neurons

要旨

Support