Rastreando las Huellas: Señales Temporales Latentes para un Razonamiento Eficiente y Preciso

Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning

October 12, 2025

Autores: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran

cs.AI

Resumen

Los modelos de razonamiento mejoran su capacidad para resolver problemas mediante el escalado en tiempo de inferencia, asignando más recursos computacionales a través de presupuestos de tokens más largos. Identificar qué trazas de razonamiento tienen más probabilidades de éxito sigue siendo una oportunidad clave: predecir de manera confiable los caminos productivos puede reducir sustancialmente el desperdicio de cómputo y mejorar la eficiencia general. Introducimos señales de Trayectoria Latente que caracterizan la evolución temporal de las representaciones internas de un modelo durante la generación de tokens intermedios de razonamiento. Al medir el cambio general en las representaciones latentes entre el inicio y el final del razonamiento, el cambio acumulado a través de los pasos intermedios, y el grado en que estos cambios avanzan hacia el estado final, demostramos que estas señales predicen la precisión de la solución de manera más confiable que tanto las métricas entre capas como las medidas de confianza basadas en la salida. Cuando se utilizan para guiar la selección de respuestas entre múltiples generaciones muestreadas, las señales de Trayectoria Latente hacen que el escalado en tiempo de prueba sea más efectivo y eficiente que la votación por mayoría, reduciendo el uso de tokens hasta en un 70% mientras se preserva e incluso mejora la precisión en un 2.6% en promedio. Además, estas señales predictivas a menudo emergen temprano en la traza de razonamiento, permitiendo la selección temprana y la asignación de recursos computacionales a los candidatos más prometedores. Nuestros hallazgos contribuyen no solo con estrategias prácticas para la eficiencia en tiempo de inferencia, sino también con una perspectiva más profunda de interpretabilidad sobre cómo los procesos de razonamiento se representan y diferencian en el espacio latente.

English

Reasoning models improve their problem-solving ability through inference-time scaling, allocating more compute via longer token budgets. Identifying which reasoning traces are likely to succeed remains a key opportunity: reliably predicting productive paths can substantially reduce wasted computation and improve overall efficiency. We introduce Latent-Trajectory signals that characterize the temporal evolution of a model's internal representations during the generation of intermediate reasoning tokens. By measuring the overall change in latent representations between the start and end of reasoning, the change accumulated across intermediate steps, and the extent to which these changes advance toward the final state, we show that these signals predict solution accuracy more reliably than both cross-layer metrics and output-based confidence measures. When used to guide answer selection across multiple sampled generations, Latent-Trajectory signals make test-time scaling more effective and efficient than majority voting, reducing token usage by up to 70% while preserving and even improving accuracy by 2.6% on average. Moreover, these predictive signals often emerge early in the reasoning trace, enabling early selection and allocation of compute to the most promising candidates. Our findings contribute not only practical strategies for inference-time efficiency, but also a deeper interpretability perspective on how reasoning processes are represented and differentiated in latent space.