Come influenzano i metodi di addestramento l'utilizzo dei modelli di visione?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Autori: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Abstract

Non tutti i parametri apprendibili (ad esempio, pesi) contribuiscono in modo uguale alla funzione decisionale di una rete neurale. Infatti, i parametri di interi strati a volte possono essere reimpostati a valori casuali con poco o nessun impatto sulle decisioni del modello. Riprendiamo studi precedenti che hanno esaminato come l'architettura e la complessità del compito influenzino questo fenomeno e ci chiediamo: questo fenomeno è influenzato anche dal modo in cui addestriamo il modello? Abbiamo condotto valutazioni sperimentali su un insieme diversificato di modelli di classificazione ImageNet-1k per esplorare questo aspetto, mantenendo costante l'architettura e i dati di addestramento ma variando il processo di addestramento. Le nostre scoperte rivelano che il metodo di addestramento influenza fortemente quali strati diventano critici per la funzione decisionale per un determinato compito. Ad esempio, regimi di addestramento migliorati e addestramento auto-supervisionato aumentano l'importanza degli strati iniziali mentre sottoutilizzano significativamente gli strati più profondi. Al contrario, metodi come l'addestramento avversario mostrano una tendenza opposta. I nostri risultati preliminari estendono le scoperte precedenti, offrendo una comprensione più sfumata dei meccanismi interni delle reti neurali. Codice: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality