Tracciare le Tracce: Segnali Temporali Latenti per un Ragionamento Efficiente e Preciso

Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning

October 12, 2025

Autori: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran

cs.AI

Abstract

I modelli di ragionamento migliorano la loro capacità di risoluzione dei problemi attraverso il ridimensionamento al momento dell'inferenza, allocando più risorse computazionali tramite budget di token più ampi. Identificare quali tracce di ragionamento hanno maggiori probabilità di successo rimane un'opportunità chiave: prevedere in modo affidabile i percorsi produttivi può ridurre sostanzialmente il calcolo sprecato e migliorare l'efficienza complessiva. Introduciamo i segnali di Traiettoria Latente che caratterizzano l'evoluzione temporale delle rappresentazioni interne di un modello durante la generazione di token di ragionamento intermedi. Misurando il cambiamento complessivo nelle rappresentazioni latenti tra l'inizio e la fine del ragionamento, il cambiamento accumulato attraverso i passaggi intermedi e la misura in cui questi cambiamenti avanzano verso lo stato finale, dimostriamo che questi segnali predicono l'accuratezza della soluzione in modo più affidabile rispetto sia alle metriche cross-layer che alle misure di confidenza basate sull'output. Quando utilizzati per guidare la selezione delle risposte tra più generazioni campionate, i segnali di Traiettoria Latente rendono il ridimensionamento al momento del test più efficace ed efficiente rispetto al voto a maggioranza, riducendo l'uso di token fino al 70% preservando e persino migliorando l'accuratezza del 2,6% in media. Inoltre, questi segnali predittivi spesso emergono precocemente nella traccia di ragionamento, consentendo una selezione anticipata e l'allocazione delle risorse computazionali ai candidati più promettenti. Le nostre scoperte contribuiscono non solo a strategie pratiche per l'efficienza al momento dell'inferenza, ma anche a una prospettiva di interpretabilità più profonda su come i processi di ragionamento sono rappresentati e differenziati nello spazio latente.

English

Reasoning models improve their problem-solving ability through inference-time scaling, allocating more compute via longer token budgets. Identifying which reasoning traces are likely to succeed remains a key opportunity: reliably predicting productive paths can substantially reduce wasted computation and improve overall efficiency. We introduce Latent-Trajectory signals that characterize the temporal evolution of a model's internal representations during the generation of intermediate reasoning tokens. By measuring the overall change in latent representations between the start and end of reasoning, the change accumulated across intermediate steps, and the extent to which these changes advance toward the final state, we show that these signals predict solution accuracy more reliably than both cross-layer metrics and output-based confidence measures. When used to guide answer selection across multiple sampled generations, Latent-Trajectory signals make test-time scaling more effective and efficient than majority voting, reducing token usage by up to 70% while preserving and even improving accuracy by 2.6% on average. Moreover, these predictive signals often emerge early in the reasoning trace, enabling early selection and allocation of compute to the most promising candidates. Our findings contribute not only practical strategies for inference-time efficiency, but also a deeper interpretability perspective on how reasoning processes are represented and differentiated in latent space.