Jenseits der Genauigkeit: Aufdeckung von Ineffizienzmustern in werkzeuggestütztem Denken
Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning
April 7, 2026
Autoren: Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao
cs.AI
Zusammenfassung
In real-world-Szenarien mit werkzeugintegriertem Reasoning (TIR), bei denen LLMs Reasoning mit externen Werkzeugaufrufen verzahnen, ist eine Hauptursache für Ineffizienz, dass die Werkzeugaufrufe Pausen zwischen LLM-Anfragen verursachen und eine KV-Cache-Auslagerung erzwingen, was Neubrechnungen nötig macht. Zudem bläht die lange, ungefilterte Antwort der externen Werkzeuge den KV-Cache auf, sodass jeder Decode-Schritt mehr Zeit damit verbringt, den wachsenden Cache zu laden, und somit mit zunehmender Kontextlänge stetig langsamer wird. Bisherige Effizienzmetriken wie Tokenanzahlen und Werkzeugaufrufzahlen erfassen jedoch nicht die tatsächliche Modell-Inferenzlatenz. Um dies zu adressieren, führen wir PTE (Prefill Token Equivalents) ein, eine hardwarebewusste TIR-Effizienzmetrik, die interne Reasoning- und externe Werkzeugnutzungskosten vereinheitlicht und dabei explizit nicht-wiederverwendbaren KV-Cache und Szenarien mit langen Werkzeugantworten berücksichtigt. Validierungen in einer hochparallelen industriellen Umgebung zeigen, dass PTE signifikant besser mit der Echtzeitlatenz korreliert als standardmäßige Tokenzählungen, während es konsistente Effizienzrankings über verschiedene Hardwareprofile hinweg beibehält. Wir führen umfangreiche Experimente mit fünf TIR-Benchmarks durch, quantifizieren deren PTE-Kosten und identifizieren vier Ineffizienzmuster, die in TIR auftreten. Zudem stellen wir fest, dass Trajektorien mit höheren PTE-Kosten tendenziell eine geringere Reasoning-Korrektheit aufweisen, was darauf hindeutet, dass der bloße Einsatz mehrerer Werkzeuge die Antwortqualität nicht verbessert.
English
In real-world Tool-Integrated Reasoning (TIR) scenarios, where LLMs interleave reasoning with external tool calls, a major source of inefficiency is that the toolcalls create pauses between LLM requests and cause KV-Cache eviction, forcing recomputation. Also, the long, unfiltered response returned by external tools inflates the KV-Cache, so each decode step spends more time loading the growing cache and thus becomes steadily slower as context length increases. However, existing efficiency metrics like token counts and toolcall counts fail to capture the real model inference latency. To address this, we introduce PTE (Prefill Token Equivalents), a hardware-aware TIR-efficiency metric that unifies internal reasoning and external tool-use costs while explicitly accounting for non-reusable KV-Cache and long-tool-response scenarios. Validation in a high-concurrency industrial setting indicates that PTE aligns significantly better with wall-clock latency than standard token counts, while maintaining consistent efficiency rankings across diverse hardware profiles. We conduct extensive experiments across five TIR benchmarks, quantify their PTE costs, and identify four inefficiency patterns that appear in TIR. We also discover that trajectories with higher PTE costs tend to have lower reasoning correctness, indicating that simply using more tools does not improve the quality of the answer.