Desmistificando Quando a Poda Funciona por meio de Hierarquias de Representação
Demystifying When Pruning Works via Representation Hierarchies
April 6, 2026
Autores: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li
cs.AI
Resumo
A poda de redes, que remove parâmetros ou arquiteturas menos importantes, é frequentemente esperada para melhorar a eficiência enquanto preserva o desempenho. No entanto, essa expectativa não se mantém consistentemente em diferentes tarefas de linguagem: modelos podados podem ter bom desempenho em tarefas não generativas, mas frequentemente falham em configurações generativas. Para entender essa discrepância, analisamos a poda de redes a partir de uma perspectiva de hierarquia de representações, decompondo o cálculo interno dos modelos de linguagem em três espaços sequenciais: *embedding* (representações ocultas), *logit* (saídas pré-*softmax*) e probabilidade (distribuições pós-*softmax*). Descobrimos que as representações nos espaços de *embedding* e *logit* são amplamente robustas a perturbações induzidas pela poda. No entanto, a transformação não linear dos *logits* para as probabilidades amplifica esses desvios, que se acumulam ao longo das etapas de tempo e levam a uma degradação substancial durante a geração. Em contraste, a estabilidade do subespaço categórico de probabilidade de *tokens*, juntamente com a robustez do espaço de *embedding*, sustenta a eficácia da poda para tarefas não generativas, como recuperação e seleção de múltipla escolha. Nossa análise desdobra os efeitos da poda entre tarefas e fornece orientação prática para sua aplicação. O código está disponível em https://github.com/CASE-Lab-UMD/Pruning-on-Representations.
English
Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations