За пределами точности: выявление паттернов неэффективности в инструментально-интегрированных рассуждениях

Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning

April 7, 2026

Авторы: Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao

cs.AI

Аннотация

В реальных сценариях инструментально-интегрированного рассуждения (TIR), где большие языковые модели чередуют логические рассуждения с вызовами внешних инструментов, основной источник неэффективности заключается в том, что эти вызовы создают паузы между запросами к модели и приводят к вытеснению KV-кэша, вынуждая выполнять перевычисления. Кроме того, длинные, нефильтрованные ответы от внешних инструментов раздувают KV-кэш, из-за чего каждый шаг декодирования тратит больше времени на загрузку растущего кэша и постепенно замедляется по мере увеличения длины контекста. Однако существующие метрики эффективности, такие как количество токенов и количество вызовов инструментов, не позволяют точно оценить реальную задержку вывода модели. Для решения этой проблемы мы представляем PTE (эквиваленты токенов предварительного заполнения) — аппаратно-ориентированную метрику эффективности TIR, которая объединяет затраты на внутренние рассуждения и использование внешних инструментов, явно учитывая сценарии с невозможностью повторного использования KV-кэша и длинными ответами инструментов. Валидация в промышленных условиях с высокой параллельной нагрузкой показывает, что PTE значительно лучше соответствует реальной задержке, чем стандартный подсчет токенов, сохраняя при этом согласованные оценки эффективности на различном аппаратном обеспечении. Мы провели обширные эксперименты на пяти тестовых наборах TIR, количественно оценили их затраты PTE и выявили четыре паттерна неэффективности, характерных для TIR. Также мы обнаружили, что траектории с более высокими затратами PTE tend to демонстрируют более низкую корректность рассуждений, что указывает на то, что простое использование большего количества инструментов не улучшает качество ответа.

English

In real-world Tool-Integrated Reasoning (TIR) scenarios, where LLMs interleave reasoning with external tool calls, a major source of inefficiency is that the toolcalls create pauses between LLM requests and cause KV-Cache eviction, forcing recomputation. Also, the long, unfiltered response returned by external tools inflates the KV-Cache, so each decode step spends more time loading the growing cache and thus becomes steadily slower as context length increases. However, existing efficiency metrics like token counts and toolcall counts fail to capture the real model inference latency. To address this, we introduce PTE (Prefill Token Equivalents), a hardware-aware TIR-efficiency metric that unifies internal reasoning and external tool-use costs while explicitly accounting for non-reusable KV-Cache and long-tool-response scenarios. Validation in a high-concurrency industrial setting indicates that PTE aligns significantly better with wall-clock latency than standard token counts, while maintaining consistent efficiency rankings across diverse hardware profiles. We conduct extensive experiments across five TIR benchmarks, quantify their PTE costs, and identify four inefficiency patterns that appear in TIR. We also discover that trajectories with higher PTE costs tend to have lower reasoning correctness, indicating that simply using more tools does not improve the quality of the answer.