Sobre os Limites da Poda de Camadas para o Raciocínio Generativo em LLMs
On the Limits of Layer Pruning for Generative Reasoning in LLMs
February 2, 2026
Autores: Safal Shrestha, Anubhav Shrestha, Aadim Nepal, Minwu Kim, Keith Ross
cs.AI
Resumo
Trabalhos recentes demonstraram que a poda de camadas pode comprimir grandes modelos de linguagem (LLMs) mantendo um desempenho sólido em benchmarks de classificação com pouca ou nenhuma afinação fina. No entanto, as técnicas de poda existentes frequentemente sofrem degradação severa em tarefas de raciocínio generativo. Através de um estudo sistemático em múltiplas famílias de modelos, descobrimos que tarefas que exigem raciocínio em múltiplas etapas são particularmente sensíveis à redução de profundidade. Para além da degeneração superficial do texto, observamos a degradação de capacidades algorítmicas críticas, incluindo computação aritmética para raciocínio matemático e geração de parênteses balanceados para síntese de código. Sob restrições realistas de pós-treinamento, sem acesso a dados ou poder computacional em escala de pré-treinamento, avaliamos uma estratégia simples de mitigação baseada em afinação fina supervisionada com Respostas Auto-Geradas. Esta abordagem alcança uma forte recuperação em tarefas de classificação, mantendo até 90% do desempenho da linha de base, e produz ganhos substanciais de até 20-30 pontos percentuais em benchmarks generativos em comparação com técnicas anteriores de pós-poda. Crucialmente, apesar destes ganhos, a recuperação para o raciocínio generativo permanece fundamentalmente limitada em relação a tarefas de classificação e é viável principalmente em taxas de poda mais baixas. No geral, caracterizamos os limites práticos da poda de camadas para raciocínio generativo e fornecemos orientações sobre quando a redução de profundidade pode ser aplicada eficazmente sob regimes de pós-treinamento restritos.
English
Recent works have shown that layer pruning can compress large language models (LLMs) while retaining strong performance on classification benchmarks with little or no finetuning. However, existing pruning techniques often suffer severe degradation on generative reasoning tasks. Through a systematic study across multiple model families, we find that tasks requiring multi-step reasoning are particularly sensitive to depth reduction. Beyond surface-level text degeneration, we observe degradation of critical algorithmic capabilities, including arithmetic computation for mathematical reasoning and balanced parenthesis generation for code synthesis. Under realistic post-training constraints, without access to pretraining-scale data or compute, we evaluate a simple mitigation strategy based on supervised finetuning with Self-Generated Responses. This approach achieves strong recovery on classification tasks, retaining up to 90\% of baseline performance, and yields substantial gains of up to 20--30 percentage points on generative benchmarks compared to prior post-pruning techniques. Crucially, despite these gains, recovery for generative reasoning remains fundamentally limited relative to classification tasks and is viable primarily at lower pruning ratios. Overall, we characterize the practical limits of layer pruning for generative reasoning and provide guidance on when depth reduction can be applied effectively under constrained post-training regimes.