Podando o Inesperado: Raciocínio Eficiente em Código via Surpresa do Primeiro Token

Resumo

Recentemente, os Modelos de Raciocínio de Grande Escala (LRMs) demonstraram capacidades notáveis no raciocínio de código ao escalar o comprimento da Cadeia de Pensamento (CoT). No entanto, traços de raciocínio excessivamente longos introduzem desafios substanciais em termos de custo de treinamento, latência de inferência e viabilidade de implantação. Embora diversas abordagens de compressão de CoT tenham surgido para enfrentar esse desafio, elas enfrentam trade-offs inerentes: métodos em nível de token frequentemente perturbam a coerência sintática e lógica, enquanto métodos em nível de etapa baseados em perplexidade falham em capturar de forma confiável as etapas de raciocínio logicamente críticas. Neste artigo, propomos o ASAP (Pruning Baseado em Surpresa e Orientado por Âncora), uma nova estrutura de compressão de CoT de granularidade grossa para fina. O ASAP primeiro realiza uma poda orientada por âncora para preservar a estrutura central de raciocínio, reduzindo eficientemente o espaço de busca para o processamento subsequente. Em seguida, ele permite uma poda consciente da lógica ao selecionar etapas de raciocínio essenciais com base em uma nova métrica de surpresa do primeiro token. Por fim, o ASAP ensina os modelos a gerar e utilizar de forma autônoma essas CoTs concisas no momento da inferência, permitindo um raciocínio eficiente em tarefas de codificação. Experimentos mostram que o ASAP alcança precisão de ponta em vários benchmarks de geração de código, reduzindo substancialmente os custos de treinamento e inferência. No desafiador benchmark LiveCodeBench v4_v5, nossa abordagem reduz a geração de tokens em 23,5% e a latência de inferência em 43,5% em comparação com a linha de base mais forte, enquanto alcança uma precisão competitiva de 36,19% em Pass@1. Nossos resultados destacam uma direção promissora para a construção de LRMs poderosos e eficientes.

English

Recently, Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in code reasoning by scaling up the length of Chain-of-Thought (CoT). However, excessively long reasoning traces introduce substantial challenges in terms of training cost, inference latency, and deployment feasibility. While various CoT compression approaches have emerged to address this challenge, they face inherent trade-offs: token-level methods often disrupt syntactic and logical coherence, while step-level methods based on perplexity fail to reliably capture the logically critical reasoning steps. In this paper, we propose ASAP (Anchor-guided, Surprisal-based Pruning), a novel coarse-to-fine framework for CoT compression. ASAP first performs anchor-guided pruning to preserve the core reasoning structure, which efficiently reduces the search space for subsequent processing. It then enables a logic-aware pruning by selecting logically essential reasoning steps based on a novel first-token surprisal metric. Finally, ASAP teaches models to autonomously generate and leverage these concise CoTs at inference time, enabling efficient reasoning in coding tasks. Experiments show that ASAP achieves state-of-the-art accuracy across multiple code generation benchmarks while substantially reducing training and inference costs. On the challenging LiveCodeBench v4_v5 benchmark, our approach reduces token generation by 23.5% and inference latency by 43.5% compared to the strongest baseline, while achieving a competitive accuracy of 36.19% in Pass@1. Our results highlight a promising direction for building powerful and efficient LRMs.

Podando o Inesperado: Raciocínio Eficiente em Código via Surpresa do Primeiro Token

Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal

Resumo

Support