訓練方法はビジョンモデルの活用にどのような影響を与えるのか？

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

著者: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

要旨

ニューラルネットワークの意思決定機能には、すべての学習可能なパラメータ（重みなど）が同じように寄与するわけではありません。実際、時には全体のレイヤーのパラメータをランダムな値にリセットしても、モデルの意思決定にほとんど影響を与えないことがあります。我々は、アーキテクチャとタスクの複雑さがこの現象にどのように影響するかを調査した先行研究を再検討し、次の問いを投げかけます：この現象はモデルの訓練方法にも影響されるのでしょうか？我々は、ImageNet-1kの分類モデルの多様なセットについて実験評価を行い、アーキテクチャと訓練データを一定に保ちつつ、訓練パイプラインを変化させました。我々の調査結果によれば、訓練方法は、特定のタスクにおいてどのレイヤーが意思決定機能にとって重要になるかに強く影響を与えます。たとえば、改善された訓練体制や自己教師付き訓練は、初期のレイヤーの重要性を高める一方で、より深いレイヤーを著しく活用しなくなります。これに対して、敵対的訓練などの手法は逆の傾向を示します。我々の予備的な結果は、以前の研究を拡張し、ニューラルネットワークの内部メカニズムについてより微妙な理解を提供しています。 コード：https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality