Como os Métodos de Treinamento Influenciam a Utilização de Modelos de Visão?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Autores: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Resumo

N Nem todos os parâmetros aprendíveis (por exemplo, pesos) contribuem igualmente para a função de decisão de uma rede neural. Na verdade, os parâmetros de camadas inteiras às vezes podem ser redefinidos para valores aleatórios com pouco ou nenhum impacto nas decisões do modelo. Revisitamos estudos anteriores que examinaram como a arquitetura e a complexidade da tarefa influenciam esse fenômeno e perguntamos: esse fenômeno também é afetado pela forma como treinamos o modelo? Realizamos avaliações experimentais em um conjunto diversificado de modelos de classificação ImageNet-1k para explorar isso, mantendo a arquitetura e os dados de treinamento constantes, mas variando o pipeline de treinamento. Nossas descobertas revelam que o método de treinamento influencia fortemente quais camadas se tornam críticas para a função de decisão de uma determinada tarefa. Por exemplo, regimes de treinamento aprimorados e treinamento auto-supervisionado aumentam a importância das camadas iniciais, enquanto subutilizam significativamente as camadas mais profundas. Em contraste, métodos como treinamento adversarial exibem uma tendência oposta. Nossos resultados preliminares ampliam descobertas anteriores, oferecendo uma compreensão mais refinada dos mecanismos internos de redes neurais. Código: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality