Het Volgen van Sporen: Latente Temporele Signalen voor Efficiënte en Nauwkeurige Redenering

Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning

October 12, 2025

Auteurs: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran

cs.AI

Samenvatting

Redeneermodellen verbeteren hun probleemoplossend vermogen door schaling tijdens de inferentie, waarbij meer rekenkracht wordt toegewezen via langere tokenbudgetten. Het identificeren van welke redeneersporen waarschijnlijk succesvol zijn, blijft een belangrijke kans: het betrouwbaar voorspellen van productieve paden kan verspilde rekenkracht aanzienlijk verminderen en de algehele efficiëntie verbeteren. Wij introduceren Latent-Trajectory-signalen die de temporele evolutie van de interne representaties van een model karakteriseren tijdens het genereren van tussenliggende redeneertokens. Door de totale verandering in latente representaties tussen het begin en het einde van het redeneren te meten, de verandering die zich ophoopt over tussenliggende stappen, en de mate waarin deze veranderingen richting de eindtoestand vorderen, laten we zien dat deze signalen de oplossingsnauwkeurigheid betrouwbaarder voorspellen dan zowel metingen over lagen heen als op uitvoer gebaseerde betrouwbaarheidsmetingen. Wanneer ze worden gebruikt om antwoordselectie te begeleiden over meerdere bemonsterde generaties, maken Latent-Trajectory-signalen testtijd-schaling effectiever en efficiënter dan meerderheidsstemming, waardoor het tokengebruik met tot wel 70% wordt verminderd terwijl de nauwkeurigheid behouden blijft en zelfs gemiddeld met 2,6% verbetert. Bovendien ontstaan deze voorspellende signalen vaak vroeg in het redeneerspoor, wat vroege selectie en toewijzing van rekenkracht aan de meest veelbelovende kandidaten mogelijk maakt. Onze bevindingen dragen niet alleen praktische strategieën voor efficiëntie tijdens de inferentie bij, maar bieden ook een dieper interpretatieperspectief op hoe redeneerprocessen worden gerepresenteerd en gedifferentieerd in de latente ruimte.

English

Reasoning models improve their problem-solving ability through inference-time scaling, allocating more compute via longer token budgets. Identifying which reasoning traces are likely to succeed remains a key opportunity: reliably predicting productive paths can substantially reduce wasted computation and improve overall efficiency. We introduce Latent-Trajectory signals that characterize the temporal evolution of a model's internal representations during the generation of intermediate reasoning tokens. By measuring the overall change in latent representations between the start and end of reasoning, the change accumulated across intermediate steps, and the extent to which these changes advance toward the final state, we show that these signals predict solution accuracy more reliably than both cross-layer metrics and output-based confidence measures. When used to guide answer selection across multiple sampled generations, Latent-Trajectory signals make test-time scaling more effective and efficient than majority voting, reducing token usage by up to 70% while preserving and even improving accuracy by 2.6% on average. Moreover, these predictive signals often emerge early in the reasoning trace, enabling early selection and allocation of compute to the most promising candidates. Our findings contribute not only practical strategies for inference-time efficiency, but also a deeper interpretability perspective on how reasoning processes are represented and differentiated in latent space.