Rastreando os Rastros: Sinais Temporais Latentes para Raciocínio Eficiente e Preciso
Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning
October 12, 2025
Autores: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran
cs.AI
Resumo
Modelos de raciocínio aprimoram sua capacidade de resolução de problemas por meio de escalonamento no tempo de inferência, alocando mais recursos computacionais por meio de orçamentos de tokens mais longos. Identificar quais trajetórias de raciocínio têm maior probabilidade de sucesso continua sendo uma oportunidade crucial: prever de forma confiável caminhos produtivos pode reduzir substancialmente o desperdício de computação e melhorar a eficiência geral. Introduzimos sinais de Trajetória Latente que caracterizam a evolução temporal das representações internas de um modelo durante a geração de tokens intermediários de raciocínio. Ao medir a mudança geral nas representações latentes entre o início e o fim do raciocínio, a mudança acumulada ao longo das etapas intermediárias e a extensão em que essas mudanças avançam em direção ao estado final, mostramos que esses sinais preveem a precisão da solução de forma mais confiável do que métricas entre camadas e medidas de confiança baseadas na saída. Quando usados para orientar a seleção de respostas em várias gerações amostradas, os sinais de Trajetória Latente tornam o escalonamento no tempo de teste mais eficaz e eficiente do que a votação majoritária, reduzindo o uso de tokens em até 70% enquanto preservam e até melhoram a precisão em 2,6% em média. Além disso, esses sinais preditivos frequentemente surgem no início da trajetória de raciocínio, permitindo a seleção precoce e a alocação de recursos computacionais para os candidatos mais promissores. Nossas descobertas contribuem não apenas com estratégias práticas para eficiência no tempo de inferência, mas também com uma perspectiva mais profunda de interpretabilidade sobre como os processos de raciocínio são representados e diferenciados no espaço latente.
English
Reasoning models improve their problem-solving ability through inference-time
scaling, allocating more compute via longer token budgets. Identifying which
reasoning traces are likely to succeed remains a key opportunity: reliably
predicting productive paths can substantially reduce wasted computation and
improve overall efficiency. We introduce Latent-Trajectory signals that
characterize the temporal evolution of a model's internal representations
during the generation of intermediate reasoning tokens. By measuring the
overall change in latent representations between the start and end of
reasoning, the change accumulated across intermediate steps, and the extent to
which these changes advance toward the final state, we show that these signals
predict solution accuracy more reliably than both cross-layer metrics and
output-based confidence measures. When used to guide answer selection across
multiple sampled generations, Latent-Trajectory signals make test-time scaling
more effective and efficient than majority voting, reducing token usage by up
to 70% while preserving and even improving accuracy by 2.6% on average.
Moreover, these predictive signals often emerge early in the reasoning trace,
enabling early selection and allocation of compute to the most promising
candidates. Our findings contribute not only practical strategies for
inference-time efficiency, but also a deeper interpretability perspective on
how reasoning processes are represented and differentiated in latent space.