Дробное рассуждение с использованием латентных управляющих векторов улучшает время вывода и вычислений

Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute

June 18, 2025

Авторы: Sheng Liu, Tianlang Chen, Pan Lu, Haotian Ye, Yizheng Chen, Lei Xing, James Zou

cs.AI

Аннотация

Вычислительные ресурсы на этапе тестирования стали мощной парадигмой для повышения производительности больших языковых моделей (LLM), где генерация нескольких выходных данных или уточнение отдельных цепочек могут значительно повысить точность ответов. Однако существующие методы, такие как Best-of-N, мажоритарное голосование и саморефлексия, обычно применяют рассуждения единообразно для всех входных данных, игнорируя тот факт, что разные задачи могут требовать различной глубины рассуждений. В данной работе мы предлагаем Fractional Reasoning (Дробное Рассуждение) — не требующий обучения и независимый от модели фреймворк, который обеспечивает непрерывный контроль над интенсивностью рассуждений на этапе вывода, выходя за рамки ограничений фиксированных инструктивных подсказок. Наш метод работает путем извлечения латентного вектора управления, связанного с более глубокими рассуждениями, и его повторного применения с настраиваемым коэффициентом масштабирования, что позволяет модели адаптировать процесс рассуждений к сложности каждого входного запроса. Это поддерживает два ключевых режима масштабирования на этапе тестирования: (1) улучшение качества выходных данных в стратегиях, основанных на широте (например, Best-of-N, мажоритарное голосование), и (2) повышение корректности отдельных цепочек рассуждений в стратегиях, основанных на глубине (например, саморефлексия). Эксперименты на наборах данных GSM8K, MATH500 и GPQA демонстрируют, что Fractional Reasoning стабильно улучшает производительность в разнообразных задачах рассуждений и моделях.

English

Test-time compute has emerged as a powerful paradigm for improving the performance of large language models (LLMs), where generating multiple outputs or refining individual chains can significantly boost answer accuracy. However, existing methods like Best-of-N, majority voting, and self-reflection typically apply reasoning in a uniform way across inputs, overlooking the fact that different problems may require different levels of reasoning depth. In this work, we propose Fractional Reasoning, a training-free and model-agnostic framework that enables continuous control over reasoning intensity at inference time, going beyond the limitations of fixed instructional prompts. Our method operates by extracting the latent steering vector associated with deeper reasoning and reapplying it with a tunable scaling factor, allowing the model to tailor its reasoning process to the complexity of each input. This supports two key modes of test-time scaling: (1) improving output quality in breadth-based strategies (e.g., Best-of-N, majority voting), and (2) enhancing the correctness of individual reasoning chains in depth-based strategies (e.g., self-reflection). Experiments on GSM8K, MATH500, and GPQA demonstrate that Fractional Reasoning consistently improves performance across diverse reasoning tasks and models.