Retracer les traces : Signaux temporels latents pour un raisonnement efficace et précis
Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning
October 12, 2025
papers.authors: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran
cs.AI
papers.abstract
Les modèles de raisonnement améliorent leur capacité à résoudre des problèmes grâce à une mise à l'échelle au moment de l'inférence, en allouant davantage de ressources de calcul via des budgets de tokens plus longs. Identifier quelles traces de raisonnement sont susceptibles de réussir reste une opportunité clé : prédire de manière fiable les chemins productifs peut considérablement réduire le gaspillage de calcul et améliorer l'efficacité globale. Nous introduisons des signaux de Trajectoire Latente qui caractérisent l'évolution temporelle des représentations internes d'un modèle lors de la génération de tokens de raisonnement intermédiaires. En mesurant le changement global des représentations latentes entre le début et la fin du raisonnement, le changement accumulé à travers les étapes intermédiaires, et la mesure dans laquelle ces changements progressent vers l'état final, nous montrons que ces signaux prédisent la précision des solutions de manière plus fiable que les métriques inter-couches et les mesures de confiance basées sur la sortie. Lorsqu'ils sont utilisés pour guider la sélection des réponses parmi plusieurs générations échantillonnées, les signaux de Trajectoire Latente rendent la mise à l'échelle au moment du test plus efficace et efficiente que le vote majoritaire, réduisant l'utilisation de tokens jusqu'à 70 % tout en préservant et même en améliorant la précision de 2,6 % en moyenne. De plus, ces signaux prédictifs apparaissent souvent tôt dans la trace de raisonnement, permettant une sélection précoce et une allocation des ressources de calcul aux candidats les plus prometteurs. Nos résultats contribuent non seulement à des stratégies pratiques pour l'efficacité au moment de l'inférence, mais aussi à une perspective d'interprétabilité plus approfondie sur la manière dont les processus de raisonnement sont représentés et différenciés dans l'espace latent.
English
Reasoning models improve their problem-solving ability through inference-time
scaling, allocating more compute via longer token budgets. Identifying which
reasoning traces are likely to succeed remains a key opportunity: reliably
predicting productive paths can substantially reduce wasted computation and
improve overall efficiency. We introduce Latent-Trajectory signals that
characterize the temporal evolution of a model's internal representations
during the generation of intermediate reasoning tokens. By measuring the
overall change in latent representations between the start and end of
reasoning, the change accumulated across intermediate steps, and the extent to
which these changes advance toward the final state, we show that these signals
predict solution accuracy more reliably than both cross-layer metrics and
output-based confidence measures. When used to guide answer selection across
multiple sampled generations, Latent-Trajectory signals make test-time scaling
more effective and efficient than majority voting, reducing token usage by up
to 70% while preserving and even improving accuracy by 2.6% on average.
Moreover, these predictive signals often emerge early in the reasoning trace,
enabling early selection and allocation of compute to the most promising
candidates. Our findings contribute not only practical strategies for
inference-time efficiency, but also a deeper interpretability perspective on
how reasoning processes are represented and differentiated in latent space.