Podando lo No Sorprendente: Razonamiento Eficiente de Código mediante la Sorpresa del Primer Token

Resumen

Recientemente, los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) han demostrado capacidades notables en el razonamiento de código al escalar la longitud de la Cadena de Pensamiento (CoT, por sus siglas en inglés). Sin embargo, trazas de razonamiento excesivamente largas introducen desafíos sustanciales en términos de coste de entrenamiento, latencia de inferencia y viabilidad de implementación. Si bien han surgido diversos enfoques de compresión de CoT para abordar este desafío, enfrentan compensaciones inherentes: los métodos a nivel de token a menudo interrumpen la coherencia sintáctica y lógica, mientras que los métodos a nivel de paso basados en perplejidad no logran capturar de manera confiable los pasos de razonamiento críticos desde el punto de vista lógico. En este artículo, proponemos ASAP (Poda Guiada por Anclas y Basada en Sorpresa), un marco novedoso de compresión de CoT de grueso a fino. ASAP primero realiza una poda guiada por anclas para preservar la estructura central del razonamiento, lo que reduce eficientemente el espacio de búsqueda para el procesamiento posterior. Luego, habilita una poda consciente de la lógica al seleccionar pasos de razonamiento esenciales basados en una nueva métrica de sorpresa del primer token. Finalmente, ASAP enseña a los modelos a generar y aprovechar de manera autónoma estas CoTs concisas durante la inferencia, permitiendo un razonamiento eficiente en tareas de codificación. Los experimentos muestran que ASAP logra una precisión de vanguardia en múltiples benchmarks de generación de código, al tiempo que reduce sustancialmente los costes de entrenamiento e inferencia. En el desafiante benchmark LiveCodeBench v4_v5, nuestro enfoque reduce la generación de tokens en un 23.5% y la latencia de inferencia en un 43.5% en comparación con el baseline más fuerte, mientras alcanza una precisión competitiva del 36.19% en Pass@1. Nuestros resultados destacan una dirección prometedora para construir LRMs potentes y eficientes.

English

Recently, Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in code reasoning by scaling up the length of Chain-of-Thought (CoT). However, excessively long reasoning traces introduce substantial challenges in terms of training cost, inference latency, and deployment feasibility. While various CoT compression approaches have emerged to address this challenge, they face inherent trade-offs: token-level methods often disrupt syntactic and logical coherence, while step-level methods based on perplexity fail to reliably capture the logically critical reasoning steps. In this paper, we propose ASAP (Anchor-guided, Surprisal-based Pruning), a novel coarse-to-fine framework for CoT compression. ASAP first performs anchor-guided pruning to preserve the core reasoning structure, which efficiently reduces the search space for subsequent processing. It then enables a logic-aware pruning by selecting logically essential reasoning steps based on a novel first-token surprisal metric. Finally, ASAP teaches models to autonomously generate and leverage these concise CoTs at inference time, enabling efficient reasoning in coding tasks. Experiments show that ASAP achieves state-of-the-art accuracy across multiple code generation benchmarks while substantially reducing training and inference costs. On the challenging LiveCodeBench v4_v5 benchmark, our approach reduces token generation by 23.5% and inference latency by 43.5% compared to the strongest baseline, while achieving a competitive accuracy of 36.19% in Pass@1. Our results highlight a promising direction for building powerful and efficient LRMs.

Podando lo No Sorprendente: Razonamiento Eficiente de Código mediante la Sorpresa del Primer Token

Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal

Resumen

Support