Démystifier le fonctionnement de l'élagage via les hiérarchies de représentation
Demystifying When Pruning Works via Representation Hierarchies
April 6, 2026
Auteurs: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li
cs.AI
Résumé
L'élagage de réseau, qui supprime les paramètres ou architectures moins importants, est souvent censé améliorer l'efficacité tout en préservant les performances. Cependant, cette attente ne se vérifie pas systématiquement selon les tâches linguistiques : les modèles élagés peuvent bien performer sur des tâches non génératives mais échouent fréquemment dans des contextes génératifs. Pour comprendre cet écart, nous analysons l'élagage de réseau sous l'angle de la hiérarchie des représentations, en décomposant le calcul interne des modèles linguistiques en trois espaces séquentiels : plongement lexical (représentations cachées), logit (sorties pré-activation softmax) et probabilité (distributions post-softmax). Nous constatons que les représentations dans les espaces de plongement et de logit sont largement robustes aux perturbations induites par l'élagage. Cependant, la transformation non linéaire des logits vers les probabilités amplifie ces déviations, qui s'accumulent à travers les pas de temps et conduisent à une dégradation substantielle durant la génération. En revanche, la stabilité du sous-espace probabiliste catégoriel des tokens, couplée à la robustesse de l'espace de plongement, soutient l'efficacité de l'élagage pour les tâches non génératives comme la recherche d'information et la sélection à choix multiples. Notre analyse dissocie les effets de l'élagage selon les tâches et fournit des orientations pratiques pour son application. Le code est disponible à l'adresse https://github.com/CASE-Lab-UMD/Pruning-on-Representations
English
Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations