Entmystifizierung der Funktionsweise des Pruning anhand von Repräsentationshierarchien

Demystifying When Pruning Works via Representation Hierarchies

April 6, 2026

Autoren: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

cs.AI

Zusammenfassung

Netzwerk-Beschneidung, bei der weniger wichtige Parameter oder Architekturen entfernt werden, soll oft die Effizienz steigern und gleichzeitig die Leistung erhalten. Diese Erwartung trifft jedoch nicht konsistent auf Sprachaufgaben zu: beschnittene Modelle können bei nicht-generativen Aufgaben gut abschneiden, versagen aber häufig in generativen Szenarien. Um diese Diskrepanz zu verstehen, analysieren wir Netzwerk-Beschneidung aus einer Repräsentationshierarchie-Perspektive und zerlegen die interne Berechnung von Sprachmodellen in drei sequenzielle Räume: Embedding (verborgene Repräsentationen), Logit (Pre-Softmax-Ausgaben) und Wahrscheinlichkeit (Post-Softmax-Verteilungen). Wir stellen fest, dass Repräsentationen im Embedding- und Logit-Raum weitgehend robust gegenüber beschneidungsinduzierten Störungen sind. Die nichtlineare Transformation von Logits zu Wahrscheinlichkeiten verstärkt jedoch diese Abweichungen, die sich über Zeitschritte akkumulieren und während der Generierung zu erheblichem Leistungsabfall führen. Im Gegensatz dazu unterstützt die Stabilität des kategorialen-Token-Wahrscheinlichkeitsunterraums zusammen mit der Robustheit des Embedding-Raums die Wirksamkeit der Beschneidung für nicht-generative Aufgaben wie Retrieval und Multiple-Choice-Auswahl. Unsere Analyse entwirrt die Effekte der Beschneidung über verschiedene Aufgaben hinweg und bietet praktische Leitlinien für ihre Anwendung. Code ist verfügbar unter https://github.com/CASE-Lab-UMD/Pruning-on-Representations.

English

Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations