¿Cómo influyen los métodos de entrenamiento en la utilización de modelos de visión?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Autores: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Resumen

No todos los parámetros aprendibles (por ejemplo, pesos) contribuyen de manera igual a la función de decisión de una red neuronal. De hecho, a veces los parámetros de capas enteras pueden restablecerse a valores aleatorios con poco o ningún impacto en las decisiones del modelo. Revisamos estudios anteriores que examinaron cómo la arquitectura y la complejidad de la tarea influyen en este fenómeno y nos preguntamos: ¿este fenómeno también se ve afectado por cómo entrenamos el modelo? Realizamos evaluaciones experimentales en un conjunto diverso de modelos de clasificación de ImageNet-1k para explorar esto, manteniendo constante la arquitectura y los datos de entrenamiento pero variando el proceso de entrenamiento. Nuestros hallazgos revelan que el método de entrenamiento influye fuertemente en qué capas se vuelven críticas para la función de decisión de una tarea dada. Por ejemplo, los regímenes de entrenamiento mejorados y el entrenamiento auto-supervisado aumentan la importancia de las capas tempranas mientras subutilizan significativamente las capas más profundas. En contraste, métodos como el entrenamiento adversarial muestran una tendencia opuesta. Nuestros resultados preliminares amplían hallazgos anteriores, ofreciendo una comprensión más matizada de los mecanismos internos de las redes neuronales. Código: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality