Over de grenzen van het verwijderen van lagen voor generatief redeneren in grote taalmodellen

On the Limits of Layer Pruning for Generative Reasoning in LLMs

February 2, 2026

Auteurs: Safal Shrestha, Anubhav Shrestha, Aadim Nepal, Minwu Kim, Keith Ross

cs.AI

Samenvatting

Recente onderzoeken hebben aangetoond dat layer pruning grote taalmodellen (LLM's) kan comprimeren terwijl sterke prestaties op classificatiebenchmarks behouden blijven, met weinig of geen finetuning. Bestaande pruningtechnieken leiden echter vaak tot ernstige prestatieverliezen op generatieve redeneertaken. Uit een systematische studie over meerdere modelfamilies blijkt dat taken die multi-step reasoning vereisen bijzonder gevoelig zijn voor dieptereductie. Naast oppervlakkige tekstdegeneratie observeren we achteruitgang van kritieke algoritmische capaciteiten, waaronder rekenkundige bewerkingen voor wiskundig redeneren en het genereren van gebalanceerde haakjes voor codesynthese. Onder realistische post-training beperkingen, zonder toegang tot pretrainingschaal data of rekenkracht, evalueren we een eenvoudige mitigatiestrategie gebaseerd op supervised finetuning met Self-Generated Responses. Deze aanpak bereikt een sterk herstel op classificatietaken, met behoud van tot 90% van de baselineprestaties, en levert substantiële winsten op van tot 20-30 procentpunt op generatieve benchmarks vergeleken met eerdere post-pruning technieken. Cruciaal is dat, ondanks deze winsten, het herstel voor generatief redeneren fundamenteel beperkt blijft ten opzichte van classificatietaken en vooral haalbaar is bij lagere pruningratio's. Al met al karakteriseren we de praktische grenzen van layer pruning voor generatief redeneren en bieden we richtlijnen voor wanneer dieptereductie effectief toegepast kan worden onder beperkte post-training omstandigheden.

English

Recent works have shown that layer pruning can compress large language models (LLMs) while retaining strong performance on classification benchmarks with little or no finetuning. However, existing pruning techniques often suffer severe degradation on generative reasoning tasks. Through a systematic study across multiple model families, we find that tasks requiring multi-step reasoning are particularly sensitive to depth reduction. Beyond surface-level text degeneration, we observe degradation of critical algorithmic capabilities, including arithmetic computation for mathematical reasoning and balanced parenthesis generation for code synthesis. Under realistic post-training constraints, without access to pretraining-scale data or compute, we evaluate a simple mitigation strategy based on supervised finetuning with Self-Generated Responses. This approach achieves strong recovery on classification tasks, retaining up to 90\% of baseline performance, and yields substantial gains of up to 20--30 percentage points on generative benchmarks compared to prior post-pruning techniques. Crucially, despite these gains, recovery for generative reasoning remains fundamentally limited relative to classification tasks and is viable primarily at lower pruning ratios. Overall, we characterize the practical limits of layer pruning for generative reasoning and provide guidance on when depth reduction can be applied effectively under constrained post-training regimes.