表現階層による剪定メカニズムの解明

Demystifying When Pruning Works via Representation Hierarchies

April 6, 2026

著者: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

cs.AI

要旨

重要度の低いパラメータやアーキテクチャを除去するネットワークプルーニングは、性能を維持しつつ効率性を向上させることが期待される。しかし、この期待は言語タスク全体で一貫して成立するわけではない。プルーニングされたモデルは非生成タスクでは良好に機能するが、生成的設定ではしばしば失敗する。この不一致を理解するため、我々は表現階層の観点からネットワークプルーニングを分析し、言語モデルの内部計算を3つの連続的な空間、すなわち埋め込み空間（隠れ表現）、ロジット空間（ソフトマックス前出力）、確率空間（ソフトマックス後分布）に分解する。その結果、埋め込み空間とロジット空間における表現は、プルーニングによって生じる摂動に対してほぼ頑健であることがわかった。しかし、ロジットから確率への非線形変換がこれらの偏差を増幅し、これが時間ステップを跨いで蓄積されることで、生成時に大幅な性能劣化を引き起こす。対照的に、カテゴリカルなトークン確率部分空間の安定性と埋め込み空間の頑健性が相まって、検索や多肢選択選択などの非生成タスクにおけるプルーニングの有効性を支えている。我々の分析は、タスク間におけるプルーニングの影響を解き明かし、その応用に対する実践的な指針を提供する。コードはhttps://github.com/CASE-Lab-UMD/Pruning-on-Representations で公開されている。

English

Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations