Ontrafelen wanneer pruning werkt via representatiehiërarchieën

Demystifying When Pruning Works via Representation Hierarchies

April 6, 2026

Auteurs: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

cs.AI

Samenvatting

Netwerkpruning, waarbij minder belangrijke parameters of architecturen worden verwijderd, wordt vaak verwacht de efficiëntie te verbeteren terwijl de prestaties behouden blijven. Deze verwachting gaat echter niet consistent op voor alle taaltaken: geprunte modellen kunnen goed presteren op niet-generatieve taken, maar falen vaak in generatieve settings. Om deze discrepantie te begrijpen, analyseren we netwerkpruning vanuit een representatiehiërarchie-perspectief, waarbij we de interne berekening van taalmodellen ontbinden in drie opeenvolgende ruimten: embedding (verborgen representaties), logit (pre-softmax-uitvoeren) en waarschijnlijkheid (post-softmax-verdelingen). We ontdekken dat representaties in de embedding- en logitruimten grotendeels robuust zijn voor door pruning geïnduceerde verstoringen. De niet-lineaire transformatie van logits naar waarschijnlijkheden versterkt deze afwijkingen echter, die zich over tijdstappen opstapelen en leiden tot aanzienlijke degradatie tijdens generatie. Daarentegen ondersteunt de stabiliteit van de categorische-token-waarschijnlijkheidsdeelruimte, samen met de robuustheid van de embeddingruimte, de effectiviteit van pruning voor niet-generatieve taken zoals retrieval en multiple-choice-selectie. Onze analyse ontwart de effecten van pruning over taken heen en biedt praktische richtlijnen voor de toepassing ervan. Code is beschikbaar op https://github.com/CASE-Lab-UMD/Pruning-on-Representations.

English

Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations