Beschneiden des Unerwarteten: Effiziente Code-Analyse durch Überraschung des ersten Tokens

papers.abstract

Kürzlich haben Large Reasoning Models (LRMs) bemerkenswerte Fähigkeiten im Code Reasoning durch die Skalierung der Länge von Chain-of-Thought (CoT) demonstriert. Allerdings führen übermäßig lange Reasoning-Traces zu erheblichen Herausforderungen in Bezug auf Trainingskosten, Inferenzlatenz und Einsatzfähigkeit. Während verschiedene CoT-Kompressionsansätze entwickelt wurden, um diese Herausforderung zu bewältigen, stehen sie vor inhärenten Kompromissen: Token-basierte Methoden stören oft die syntaktische und logische Kohärenz, während schrittbasierte Methoden, die auf Perplexität beruhen, nicht zuverlässig die logisch entscheidenden Reasoning-Schritte erfassen können. In diesem Artikel schlagen wir ASAP (Anchor-guided, Surprisal-based Pruning) vor, ein neuartiges grob-zu-fein Framework für die CoT-Kompression. ASAP führt zunächst eine ankergeführte Beschneidung durch, um die Kernstruktur des Reasonings zu bewahren, wodurch der Suchraum für die nachfolgende Verarbeitung effizient reduziert wird. Anschließend ermöglicht es eine logikbewusste Beschneidung, indem logisch essentielle Reasoning-Schritte basierend auf einer neuartigen First-Token-Surprisal-Metrik ausgewählt werden. Schließlich lehrt ASAP Modelle, diese prägnanten CoTs autonom zu generieren und während der Inferenz zu nutzen, was ein effizientes Reasoning in Codierungsaufgaben ermöglicht. Experimente zeigen, dass ASAP eine state-of-the-art Genauigkeit über mehrere Code-Generierungs-Benchmarks hinweg erreicht, während die Trainings- und Inferenzkosten erheblich reduziert werden. Beim anspruchsvollen LiveCodeBench v4_v5 Benchmark reduziert unser Ansatz die Token-Generierung um 23,5 % und die Inferenzlatenz um 43,5 % im Vergleich zum stärksten Baseline-Modell, während eine wettbewerbsfähige Genauigkeit von 36,19 % in Pass@1 erreicht wird. Unsere Ergebnisse verdeutlichen eine vielversprechende Richtung für den Aufbau leistungsstarker und effizienter LRMs.

English

Recently, Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in code reasoning by scaling up the length of Chain-of-Thought (CoT). However, excessively long reasoning traces introduce substantial challenges in terms of training cost, inference latency, and deployment feasibility. While various CoT compression approaches have emerged to address this challenge, they face inherent trade-offs: token-level methods often disrupt syntactic and logical coherence, while step-level methods based on perplexity fail to reliably capture the logically critical reasoning steps. In this paper, we propose ASAP (Anchor-guided, Surprisal-based Pruning), a novel coarse-to-fine framework for CoT compression. ASAP first performs anchor-guided pruning to preserve the core reasoning structure, which efficiently reduces the search space for subsequent processing. It then enables a logic-aware pruning by selecting logically essential reasoning steps based on a novel first-token surprisal metric. Finally, ASAP teaches models to autonomously generate and leverage these concise CoTs at inference time, enabling efficient reasoning in coding tasks. Experiments show that ASAP achieves state-of-the-art accuracy across multiple code generation benchmarks while substantially reducing training and inference costs. On the challenging LiveCodeBench v4_v5 benchmark, our approach reduces token generation by 23.5% and inference latency by 43.5% compared to the strongest baseline, while achieving a competitive accuracy of 36.19% in Pass@1. Our results highlight a promising direction for building powerful and efficient LRMs.

Beschneiden des Unerwarteten: Effiziente Code-Analyse durch Überraschung des ersten Tokens

Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal

papers.abstract

Support