Além da Precisão: Revelando Padrões de Ineficiência no Raciocínio com Ferramentas Integradas

Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning

April 7, 2026

Autores: Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao

cs.AI

Resumo

Em cenários reais de Raciocínio Integrado a Ferramentas (TIR), nos quais os LLMs intercalam raciocínio com chamadas a ferramentas externas, uma das principais fontes de ineficiência é o facto de essas chamadas criarem pausas entre os pedidos ao LLM e causarem a libertação da KV-Cache, forçando a sua recomputação. Adicionalmente, as respostas longas e não filtradas devolvidas pelas ferramentas externas inflacionam a KV-Cache, fazendo com que cada passo de descodificação gaste mais tempo a carregar a cache crescente e, assim, se torne progressivamente mais lento à medida que o contexto aumenta. No entanto, as métricas de eficiência existentes, como contagens de tokens e contagens de chamadas a ferramentas, não conseguem capturar a latência real da inferência do modelo. Para resolver isto, introduzimos o PTE (Equivalentes de Tokens de Pré-preenchimento), uma métrica de eficiência de TIR consciente do *hardware* que unifica os custos de raciocínio interno e de uso de ferramentas externas, contabilizando explicitamente a KV-Cache não reutilizável e os cenários de respostas longas de ferramentas. A validação num ambiente industrial de alta concorrência indica que o PTE se alinha significativamente melhor com a latência de tempo real do que as contagens padrão de tokens, mantendo classificações de eficiência consistentes em diversos perfis de *hardware*. Realizamos experiências extensas em cinco benchmarks de TIR, quantificamos os seus custos em PTE e identificamos quatro padrões de ineficiência que surgem no TIR. Também descobrimos que trajetórias com custos de PTE mais elevados tendem a ter uma correção de raciocínio mais baixa, indicando que simplesmente usar mais ferramentas não melhora a qualidade da resposta.

English

In real-world Tool-Integrated Reasoning (TIR) scenarios, where LLMs interleave reasoning with external tool calls, a major source of inefficiency is that the toolcalls create pauses between LLM requests and cause KV-Cache eviction, forcing recomputation. Also, the long, unfiltered response returned by external tools inflates the KV-Cache, so each decode step spends more time loading the growing cache and thus becomes steadily slower as context length increases. However, existing efficiency metrics like token counts and toolcall counts fail to capture the real model inference latency. To address this, we introduce PTE (Prefill Token Equivalents), a hardware-aware TIR-efficiency metric that unifies internal reasoning and external tool-use costs while explicitly accounting for non-reusable KV-Cache and long-tool-response scenarios. Validation in a high-concurrency industrial setting indicates that PTE aligns significantly better with wall-clock latency than standard token counts, while maintaining consistent efficiency rankings across diverse hardware profiles. We conduct extensive experiments across five TIR benchmarks, quantify their PTE costs, and identify four inefficiency patterns that appear in TIR. We also discover that trajectories with higher PTE costs tend to have lower reasoning correctness, indicating that simply using more tools does not improve the quality of the answer.