Spuren verfolgen: Latente zeitliche Signale für effizientes und präzises Schließen

Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning

October 12, 2025

papers.authors: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran

cs.AI

papers.abstract

Reasoning-Modelle verbessern ihre Problemlösungsfähigkeit durch Skalierung zur Inferenzzeit, indem sie mehr Rechenleistung über längere Token-Budgets zuweisen. Die Identifizierung von Reasoning-Traces, die wahrscheinlich erfolgreich sind, bleibt eine zentrale Möglichkeit: Die zuverlässige Vorhersage produktiver Pfade kann verschwendete Berechnungen erheblich reduzieren und die Gesamteffizienz verbessern. Wir führen Latent-Trajectory-Signale ein, die die zeitliche Entwicklung der internen Repräsentationen eines Modells während der Generierung von Zwischenreasoning-Tokens charakterisieren. Durch die Messung der Gesamtveränderung in den latenten Repräsentationen zwischen Beginn und Ende des Reasonings, der über Zwischenschritte akkumulierten Veränderung sowie des Ausmaßes, in dem diese Veränderungen auf den Endzustand hinarbeiten, zeigen wir, dass diese Signale die Lösungsgenauigkeit zuverlässiger vorhersagen als sowohl Cross-Layer-Metriken als auch output-basierte Konfidenzmaße. Wenn sie zur Steuerung der Antwortauswahl über mehrere gesampelte Generationen hinweg verwendet werden, machen Latent-Trajectory-Signale die Skalierung zur Testzeit effektiver und effizienter als Mehrheitsabstimmungen, reduzieren die Token-Nutzung um bis zu 70 % und bewahren oder verbessern sogar die Genauigkeit um durchschnittlich 2,6 %. Darüber hinaus treten diese prädiktiven Signale oft früh im Reasoning-Trace auf, was eine frühzeitige Auswahl und Zuweisung von Rechenleistung zu den vielversprechendsten Kandidaten ermöglicht. Unsere Erkenntnisse tragen nicht nur praktische Strategien für die Effizienz zur Inferenzzeit bei, sondern bieten auch eine tiefere Interpretierbarkeitsperspektive darauf, wie Reasoning-Prozesse im latenten Raum repräsentiert und differenziert werden.

English

Reasoning models improve their problem-solving ability through inference-time scaling, allocating more compute via longer token budgets. Identifying which reasoning traces are likely to succeed remains a key opportunity: reliably predicting productive paths can substantially reduce wasted computation and improve overall efficiency. We introduce Latent-Trajectory signals that characterize the temporal evolution of a model's internal representations during the generation of intermediate reasoning tokens. By measuring the overall change in latent representations between the start and end of reasoning, the change accumulated across intermediate steps, and the extent to which these changes advance toward the final state, we show that these signals predict solution accuracy more reliably than both cross-layer metrics and output-based confidence measures. When used to guide answer selection across multiple sampled generations, Latent-Trajectory signals make test-time scaling more effective and efficient than majority voting, reducing token usage by up to 70% while preserving and even improving accuracy by 2.6% on average. Moreover, these predictive signals often emerge early in the reasoning trace, enabling early selection and allocation of compute to the most promising candidates. Our findings contribute not only practical strategies for inference-time efficiency, but also a deeper interpretability perspective on how reasoning processes are represented and differentiated in latent space.