Beperkingskosten in open-gewicht LLM's: Een empirische studie naar onderdrukking van tool calling onder gestructureerde uitvoerbeperkingen

Samenvatting

Tool Calling en Structured Output zijn twee kernmogelijkheden van moderne agentsystemen, maar hun interactie onder gezamenlijke implementatieomstandigheden is nog onvoldoende begrepen. Dit artikel rapporteert een reproduceerbaar fenomeen dat is waargenomen in een productie-agentsysteem: wanneer Tool Calling en JSON Schema-beperkingen gelijktijdig worden ingeschakeld, stoppen meerdere open-weight modellen met het aanroepen van tools, ondanks dat ze een hoge schema-naleving behouden. We verwijzen naar dit gedrag als Tool Suppression. Door gecontroleerde experimenten met meerdere modelfamilies en implementatie-instellingen reproduceren we consequent Tool Suppression onder gezamenlijke beperkingen, terwijl tooluitvoering en schema-naleving functioneel blijven wanneer ze onafhankelijk worden geëvalueerd. Verdere analyse onthult dat JSON Schema-beperkingen worden gecompileerd in op grammatica gebaseerde tokenmaskers, waardoor toolaanroeptokens ontoegankelijk worden tijdens decodering. Dit biedt een verklaring op implementatieniveau voor het waargenomen gedrag. Om het fenomeen te interpreteren, formuleren we de Constraint Priority Inversion (CPI)-hypothese, die suggereert dat schemavoldoening het actieselectiegedrag kan domineren onder meerdere gelijktijdige beperkingen. We presenteren CPI als een gedragshypothese die consistent is met het waargenomen bewijs, in plaats van een geverifieerd intern mechanisme. Om het probleem te mitigeren, stellen we Transparent Two-Pass Execution voor, een inferentie-tijdstrategie die tooluitvoering ontkoppelt van schema-gebonden responsgeneratie. Experimentele resultaten tonen aan dat deze aanpak toolaanroeping herstelt terwijl gestructureerde uitvoergaranties behouden blijven, zonder dat modelhertraining nodig is. Deze bevindingen suggereren dat het afzonderlijk evalueren van toolgebruik en gestructureerde uitvoer belangrijke betrouwbaarheidskwesties in productie-agentsystemen over het hoofd kan zien. Code, data en documentatie worden vrijgegeven op https://github.com/Fzsama/Constrain-Tax-26-06.git.

English

Tool Calling and Structured Output are two core capabilities of modern Agent systems, yet their interaction under joint deployment conditions remains insufficiently understood. This paper reports a reproducible phenomenon observed in a production Agent system: when Tool Calling and JSON Schema constraints are simultaneously enabled, multiple open-weight models cease invoking tools despite maintaining high schema compliance. We refer to this behavior as Tool Suppression. Through controlled experiments across multiple model families and deployment settings, we consistently reproduce Tool Suppression under joint constraints, while tool execution and schema compliance remain functional when evaluated independently. Further analysis reveals that JSON Schema constraints are compiled into grammar-based token masks, causing tool-call tokens to become unreachable during decoding. This provides an implementation-level explanation for the observed behavior. To interpret the phenomenon, we formulate the Constraint Priority Inversion (CPI) hypothesis, which suggests that schema satisfaction may dominate action-selection behavior under multiple simultaneous constraints. We present CPI as a behavioral hypothesis consistent with the observed evidence rather than a verified internal mechanism. To mitigate the problem, we propose Transparent Two-Pass Execution, an inference-time strategy that decouples tool execution from schema-constrained response generation. Experimental results show that this approach restores tool invocation while preserving structured output guarantees without requiring model retraining. These findings suggest that evaluating tool use and structured output separately may overlook important reliability issues in production Agent systems. Code, data, and docs will be released at https://github.com/Fzsama/Constrain-Tax-26-06.git.