Sobre los límites de la poda de capas para el razonamiento generativo en los LLM
On the Limits of Layer Pruning for Generative Reasoning in LLMs
February 2, 2026
Autores: Safal Shrestha, Anubhav Shrestha, Aadim Nepal, Minwu Kim, Keith Ross
cs.AI
Resumen
Trabajos recientes han demostrado que la poda de capas puede comprimir modelos de lenguaje grandes (LLM) manteniendo un rendimiento sólido en benchmarks de clasificación con poca o ninguna afinación. Sin embargo, las técnicas de poda existentes a menudo sufren una degradación severa en tareas de razonamiento generativo. Mediante un estudio sistemático en múltiples familias de modelos, encontramos que las tareas que requieren razonamiento multi-paso son particularmente sensibles a la reducción de profundidad. Más allá de la degeneración superficial del texto, observamos la degradación de capacidades algorítmicas críticas, incluyendo el cálculo aritmético para el razonamiento matemático y la generación de paréntesis balanceados para la síntesis de código. Bajo restricciones realistas de post-entrenamiento, sin acceso a datos o capacidad de cómputo a escala de pre-entrenamiento, evaluamos una estrategia de mitigación simple basada en afinación supervisada con Respuestas Auto-Generadas. Este enfoque logra una fuerte recuperación en tareas de clasificación, conservando hasta el 90% del rendimiento base, y produce ganancias sustanciales de hasta 20-30 puntos porcentuales en benchmarks generativos en comparación con técnicas previas de post-poda. Crucialmente, a pesar de estas ganancias, la recuperación para el razonamiento generativo sigue siendo fundamentalmente limitada en relación con las tareas de clasificación y es viable principalmente en ratios de poda más bajos. En general, caracterizamos los límites prácticos de la poda de capas para el razonamiento generativo y proporcionamos orientación sobre cuándo la reducción de profundidad puede aplicarse efectivamente bajo regímenes de post-entrenamiento restringidos.
English
Recent works have shown that layer pruning can compress large language models (LLMs) while retaining strong performance on classification benchmarks with little or no finetuning. However, existing pruning techniques often suffer severe degradation on generative reasoning tasks. Through a systematic study across multiple model families, we find that tasks requiring multi-step reasoning are particularly sensitive to depth reduction. Beyond surface-level text degeneration, we observe degradation of critical algorithmic capabilities, including arithmetic computation for mathematical reasoning and balanced parenthesis generation for code synthesis. Under realistic post-training constraints, without access to pretraining-scale data or compute, we evaluate a simple mitigation strategy based on supervised finetuning with Self-Generated Responses. This approach achieves strong recovery on classification tasks, retaining up to 90\% of baseline performance, and yields substantial gains of up to 20--30 percentage points on generative benchmarks compared to prior post-pruning techniques. Crucially, despite these gains, recovery for generative reasoning remains fundamentally limited relative to classification tasks and is viable primarily at lower pruning ratios. Overall, we characterize the practical limits of layer pruning for generative reasoning and provide guidance on when depth reduction can be applied effectively under constrained post-training regimes.