Demistificare quando la potatura funziona attraverso le gerarchie di rappresentazione

Demystifying When Pruning Works via Representation Hierarchies

April 6, 2026

Autori: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

cs.AI

Abstract

La potatura di rete, che rimuove parametri o architetture meno importanti, è spesso considerata un metodo per migliorare l'efficienza preservando le prestazioni. Tuttavia, questa aspettativa non si mantiene costantemente tra i diversi compiti linguistici: i modelli potati possono performare bene in attività non generative, ma falliscono frequentemente in contesti generativi. Per comprendere questa discrepanza, analizziamo la potatura di rete da una prospettiva di gerarchia delle rappresentazioni, scomponendo il calcolo interno dei modelli linguistici in tre spazi sequenziali: embedding (rappresentazioni latenti), logit (output pre-softmax) e probabilità (distribuzioni post-softmax). Scopriamo che le rappresentazioni negli spazi di embedding e logit sono largamente robuste alle perturbazioni indotte dalla potatura. Tuttavia, la trasformazione non lineare dai logit alle probabilità amplifica queste deviazioni, che si accumulano attraverso i time step e portano a un degrado sostanziale durante la generazione. Al contrario, la stabilità del sottospazio probabilistico categorico dei token, unitamente alla robustezza dello spazio di embedding, supporta l'efficacia della potatura per compiti non generativi come retrieval e selezione a scelta multipla. La nostra analisi distingue gli effetti della potatura tra diversi compiti e fornisce indicazioni pratiche per la sua applicazione. Il codice è disponibile all'indirizzo https://github.com/CASE-Lab-UMD/Pruning-on-Representations.

English

Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations