Oltre la precisione: svelare gli schemi di inefficienza nel ragionamento integrato con strumenti

Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning

April 7, 2026

Autori: Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao

cs.AI

Abstract

Negli scenari reali di Ragionamento con Integrazione di Strumenti (TIR), in cui i LLM alternano il ragionamento a chiamate di strumenti esterni, una delle principali fonti di inefficienza è rappresentata dal fatto che queste chiamate creano pause tra le richieste al LLM e causano l'evizione della KV-Cache, costringendo a ricalcoli. Inoltre, la risposta lunga e non filtrata restituita dagli strumenti esterni gonfia la KV-Cache, pertanto ogni fase di decodifica impiega più tempo a caricare la cache in crescita, diventando progressivamente più lenta all'aumentare della lunghezza del contesto. Tuttavia, le metriche di efficienza esistenti, come il conteggio dei token e il numero di chiamate a strumenti, non riescono a cogliere la latenza effettiva dell'inferenza del modello. Per affrontare questo problema, introduciamo il PTE (Prefill Token Equivalents), una metrica di efficienza per il TIR consapevole dell'hardware che unifica i costi del ragionamento interno e dell'uso di strumenti esterni, tenendo conto esplicitamente degli scenari di KV-Cache non riutilizzabile e di risposte lunghe dagli strumenti. La validazione in un ambiente industriale ad alta concorrenza indica che il PTE si allinea in modo significativamente migliore alla latenza wall-clock rispetto ai conteggi standard dei token, mantenendo al contempo classifiche di efficienza consistenti su diversi profili hardware. Abbiamo condotto esperimenti estesi su cinque benchmark TIR, quantificato i loro costi in PTE e identificato quattro modelli di inefficienza che si manifestano nel TIR. Abbiamo anche scoperto che le traiettorie con costi PTE più elevati tendono ad avere una correttezza del ragionamento inferiore, indicando che semplicemente utilizzare più strumenti non migliora la qualità della risposta.

English

In real-world Tool-Integrated Reasoning (TIR) scenarios, where LLMs interleave reasoning with external tool calls, a major source of inefficiency is that the toolcalls create pauses between LLM requests and cause KV-Cache eviction, forcing recomputation. Also, the long, unfiltered response returned by external tools inflates the KV-Cache, so each decode step spends more time loading the growing cache and thus becomes steadily slower as context length increases. However, existing efficiency metrics like token counts and toolcall counts fail to capture the real model inference latency. To address this, we introduce PTE (Prefill Token Equivalents), a hardware-aware TIR-efficiency metric that unifies internal reasoning and external tool-use costs while explicitly accounting for non-reusable KV-Cache and long-tool-response scenarios. Validation in a high-concurrency industrial setting indicates that PTE aligns significantly better with wall-clock latency than standard token counts, while maintaining consistent efficiency rankings across diverse hardware profiles. We conduct extensive experiments across five TIR benchmarks, quantify their PTE costs, and identify four inefficiency patterns that appear in TIR. We also discover that trajectories with higher PTE costs tend to have lower reasoning correctness, indicating that simply using more tools does not improve the quality of the answer.