Voorbij Nauwkeurigheid: Onthulling van Inefficiëntiepatronen in Gereedschapsgeïntegreerd Redeneren
Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning
April 7, 2026
Auteurs: Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao
cs.AI
Samenvatting
In real-world scenario's voor Tool-Integrated Reasoning (TIR), waarbij grote taalmodellen redeneren afwisselen met externe tool-aanroepen, is een belangrijke bron van inefficiëntie dat de tool-aanroepen pauzes creëren tussen LLM-verzoeken en KV-cache-verwijdering veroorzaken, wat herberekening forceert. Bovendien zorgt het lange, ongefilterde antwoord dat door externe tools wordt teruggegeven voor een opgeblazen KV-cache, waardoor elke decodeerstap meer tijd besteedt aan het laden van de groeiende cache en dus geleidelijk langzamer wordt naarmate de contextlengte toeneemt. Bestaande efficiëntiemetrieken zoals tokenaantallen en tool-aanroepaantallen slagen er echter niet in de werkelijke inferentielatentie van het model vast te leggen. Om dit aan te pakken, introduceren we PTE (Prefill Token Equivalents), een hardwarebewuste TIR-efficiëntiemetriek die de kosten van interne redenering en extern toolgebruik verenigt, waarbij expliciet rekening wordt gehouden met niet-herbruikbare KV-cache en scenario's met lange tool-antwoorden. Validatie in een industriële setting met hoge gelijktijdigheid geeft aan dat PTE aanzienlijk beter overeenkomt met de wall-clock latentie dan standaard tokenaantallen, terwijl consistente efficiëntieranglijsten worden gehandhaafd across diverse hardwareprofielen. We voeren uitgebreide experimenten uit across vijf TIR-referentiepunten, kwantificeren hun PTE-kosten en identificeren vier inefficiëntiepatronen die voorkomen in TIR. We ontdekken ook dat trajecten met hogere PTE-kosten de neiging hebben een lagere redeneernauwkeurigheid te hebben, wat aangeeft dat het simpelweg gebruiken van meer tools de kwaliteit van het antwoord niet verbetert.
English
In real-world Tool-Integrated Reasoning (TIR) scenarios, where LLMs interleave reasoning with external tool calls, a major source of inefficiency is that the toolcalls create pauses between LLM requests and cause KV-Cache eviction, forcing recomputation. Also, the long, unfiltered response returned by external tools inflates the KV-Cache, so each decode step spends more time loading the growing cache and thus becomes steadily slower as context length increases. However, existing efficiency metrics like token counts and toolcall counts fail to capture the real model inference latency. To address this, we introduce PTE (Prefill Token Equivalents), a hardware-aware TIR-efficiency metric that unifies internal reasoning and external tool-use costs while explicitly accounting for non-reusable KV-Cache and long-tool-response scenarios. Validation in a high-concurrency industrial setting indicates that PTE aligns significantly better with wall-clock latency than standard token counts, while maintaining consistent efficiency rankings across diverse hardware profiles. We conduct extensive experiments across five TIR benchmarks, quantify their PTE costs, and identify four inefficiency patterns that appear in TIR. We also discover that trajectories with higher PTE costs tend to have lower reasoning correctness, indicating that simply using more tools does not improve the quality of the answer.