Sui Limiti del Pruning degli Strati per il Ragionamento Generativo nei LLM
On the Limits of Layer Pruning for Generative Reasoning in LLMs
February 2, 2026
Autori: Safal Shrestha, Anubhav Shrestha, Aadim Nepal, Minwu Kim, Keith Ross
cs.AI
Abstract
Recenti studi hanno dimostrato che la potatura di layer può comprimere i grandi modelli linguistici (LLM) mantenendo prestazioni solide su benchmark di classificazione con poca o nessuna messa a punto. Tuttavia, le tecniche di potatura esistenti spesso subiscono un grave degrado su compiti di ragionamento generativo. Attraverso uno studio sistematico su più famiglie di modelli, scopriamo che i compiti che richiedono ragionamenti a più fasi sono particolarmente sensibili alla riduzione della profondità. Oltre a una degenerazione superficiale del testo, osserviamo il degrado di capacità algoritmiche critiche, inclusi il calcolo aritmetico per il ragionamento matematico e la generazione di parentesi bilanciate per la sintesi di codice. In condizioni realistiche post-addestramento, senza accesso a dati o potenza di calcolo su scala pre-addestramento, valutiamo una semplice strategia di mitigazione basata sulla messa a punto supervisionata con Risposte Auto-Generate. Questo approccio ottiene un forte recupero sui compiti di classificazione, mantenendo fino al 90\% delle prestazioni di base, e produce guadagni sostanziali fino a 20-30 punti percentuali su benchmark generativi rispetto alle tecniche precedenti post-potatura. Crucialmente, nonostante questi guadagni, il recupero per il ragionamento generativo rimane fondamentalmente limitato rispetto ai compiti di classificazione ed è realizzabile principalmente con rapporti di potatura più bassi. In sintesi, caratterizziamo i limiti pratici della potatura di layer per il ragionamento generativo e forniamo indicazioni su quando la riduzione della profondità può essere applicata efficacemente in regimi post-addestramento vincolati.
English
Recent works have shown that layer pruning can compress large language models (LLMs) while retaining strong performance on classification benchmarks with little or no finetuning. However, existing pruning techniques often suffer severe degradation on generative reasoning tasks. Through a systematic study across multiple model families, we find that tasks requiring multi-step reasoning are particularly sensitive to depth reduction. Beyond surface-level text degeneration, we observe degradation of critical algorithmic capabilities, including arithmetic computation for mathematical reasoning and balanced parenthesis generation for code synthesis. Under realistic post-training constraints, without access to pretraining-scale data or compute, we evaluate a simple mitigation strategy based on supervised finetuning with Self-Generated Responses. This approach achieves strong recovery on classification tasks, retaining up to 90\% of baseline performance, and yields substantial gains of up to 20--30 percentage points on generative benchmarks compared to prior post-pruning techniques. Crucially, despite these gains, recovery for generative reasoning remains fundamentally limited relative to classification tasks and is viable primarily at lower pruning ratios. Overall, we characterize the practical limits of layer pruning for generative reasoning and provide guidance on when depth reduction can be applied effectively under constrained post-training regimes.