Как методы обучения влияют на использование моделей компьютерного зрения?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Авторы: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Аннотация

Не все обучаемые параметры (например, веса) одинаково влияют на функцию принятия решений нейронной сети. Фактически, параметры целых слоев иногда могут быть сброшены до случайных значений с незначительным или отсутствующим влиянием на решения модели. Мы пересматриваем ранее проведенные исследования, которые изучали, как архитектура и сложность задачи влияют на это явление, и спрашиваем: насколько это явление также зависит от того, как мы обучаем модель? Мы провели экспериментальные оценки на разнообразном наборе моделей классификации ImageNet-1k, чтобы исследовать это, сохраняя архитектуру и обучающие данные постоянными, но изменяя обучающий конвейер. Наши результаты показывают, что метод обучения сильно влияет на то, какие слои становятся критическими для функции принятия решений для данной задачи. Например, улучшенные режимы обучения и обучение без учителя увеличивают важность ранних слоев, в то время как глубокие слои значительно недоиспользуются. В отличие от этого, методы, такие как адверсариальное обучение, демонстрируют противоположную тенденцию. Наши предварительные результаты расширяют предыдущие выводы, предлагая более тонкое понимание внутренних механизмов нейронных сетей. Код: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality