Отслеживание следов: скрытые временные сигналы для эффективного и точного рассуждения
Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning
October 12, 2025
Авторы: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran
cs.AI
Аннотация
Модели рассуждений улучшают свою способность решать задачи за счет масштабирования на этапе вывода, выделяя больше вычислительных ресурсов через увеличение бюджета токенов. Определение того, какие траектории рассуждений с большей вероятностью приведут к успеху, остается ключевой возможностью: надежное прогнозирование продуктивных путей может существенно сократить бесполезные вычисления и повысить общую эффективность. Мы представляем сигналы Latent-Trajectory, которые характеризуют временную эволюцию внутренних представлений модели в процессе генерации промежуточных токенов рассуждений. Измеряя общее изменение латентных представлений между началом и концом рассуждения, накопленное изменение на промежуточных шагах и степень, в которой эти изменения приближают к конечному состоянию, мы показываем, что эти сигналы предсказывают точность решения более надежно, чем как кросс-слойные метрики, так и меры уверенности, основанные на выходных данных. При использовании для выбора ответа среди множества сгенерированных вариантов сигналы Latent-Trajectory делают масштабирование на этапе тестирования более эффективным и экономичным, чем метод большинства голосов, сокращая использование токенов до 70% при сохранении и даже улучшении точности в среднем на 2,6%. Более того, эти прогностические сигналы часто появляются на ранних этапах траектории рассуждений, что позволяет раньше выбирать и выделять вычислительные ресурсы наиболее перспективным кандидатам. Наши результаты вносят вклад не только в практические стратегии повышения эффективности на этапе вывода, но и в более глубокое понимание того, как процессы рассуждений представлены и дифференцируются в латентном пространстве.
English
Reasoning models improve their problem-solving ability through inference-time
scaling, allocating more compute via longer token budgets. Identifying which
reasoning traces are likely to succeed remains a key opportunity: reliably
predicting productive paths can substantially reduce wasted computation and
improve overall efficiency. We introduce Latent-Trajectory signals that
characterize the temporal evolution of a model's internal representations
during the generation of intermediate reasoning tokens. By measuring the
overall change in latent representations between the start and end of
reasoning, the change accumulated across intermediate steps, and the extent to
which these changes advance toward the final state, we show that these signals
predict solution accuracy more reliably than both cross-layer metrics and
output-based confidence measures. When used to guide answer selection across
multiple sampled generations, Latent-Trajectory signals make test-time scaling
more effective and efficient than majority voting, reducing token usage by up
to 70% while preserving and even improving accuracy by 2.6% on average.
Moreover, these predictive signals often emerge early in the reasoning trace,
enabling early selection and allocation of compute to the most promising
candidates. Our findings contribute not only practical strategies for
inference-time efficiency, but also a deeper interpretability perspective on
how reasoning processes are represented and differentiated in latent space.