Разоблачение механизмов эффективности прунинга через иерархии представлений

Demystifying When Pruning Works via Representation Hierarchies

April 6, 2026

Авторы: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

cs.AI

Аннотация

Сеточное прореживание, которое удаляет менее важные параметры или архитектуры, часто ожидается повысить эффективность при сохранении производительности. Однако это ожидание не всегда оправдывается в языковых задачах: прореженные модели могут хорошо работать с негаenerативными задачами, но часто терпят неудачу в генеративных сценариях. Чтобы понять это расхождение, мы анализируем сеточное прореживание с позиции иерархии представлений, декомпозируя внутренние вычисления языковых моделей на три последовательных пространства: эмбеддингов (скрытые представления), логитов (выходы до softmax) и вероятностей (распределения после softmax). Мы обнаруживаем, что представления в пространствах эмбеддингов и логитов в значительной степени устойчивы к возмущениям, вызванным прореживанием. Однако нелинейное преобразование из логитов в вероятности усиливает эти отклонения, которые накапливаются по временным шагам и приводят к существенной деградации во время генерации. В противоположность этому, стабильность подпространства категориальных вероятностей токенов вместе с устойчивостью пространства эмбеддингов поддерживает эффективность прореживания для негаenerативных задач, таких как поиск и множественный выбор. Наш анализ разделяет эффекты прореживания для разных задач и предоставляет практические рекомендации для его применения. Код доступен по адресу https://github.com/CASE-Lab-UMD/Pruning-on-Representations.

English

Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations