Constraint-Belastung bei Open-Weight-LLMs: Eine empirische Studie zur Unterdrückung von Tool-Aufrufen unter strukturierten Ausgabe-Einschränkungen

Zusammenfassung

Tool-Aufruf und strukturierte Ausgabe sind zwei Kernfähigkeiten moderner Agent-Systeme, doch ihr Zusammenspiel unter gemeinsamen Einsatzbedingungen ist noch unzureichend verstanden. Diese Arbeit berichtet über ein reproduzierbares Phänomen, das in einem Produktions-Agent-System beobachtet wurde: Wenn Tool-Aufruf und JSON-Schema-Einschränkungen gleichzeitig aktiviert sind, stellen mehrere Open-Weight-Modelle den Aufruf von Werkzeugen ein, obwohl sie weiterhin eine hohe Schema-Konformität aufweisen. Wir bezeichnen dieses Verhalten als Werkzeugunterdrückung (Tool Suppression). Durch kontrollierte Experimente mit mehreren Modellfamilien und Einsatzumgebungen können wir die Werkzeugunterdrückung unter gemeinsamen Einschränkungen konsistent reproduzieren, während Werkzeugausführung und Schema-Konformität bei unabhängiger Evaluierung funktionsfähig bleiben. Eine weiterführende Analyse zeigt, dass JSON-Schema-Einschränkungen zu grammatikbasierten Token-Masken kompiliert werden, wodurch Token für Werkzeugaufrufe während der Dekodierung unerreichbar werden. Dies liefert eine implementierungsnahe Erklärung für das beobachtete Verhalten. Zur Interpretation des Phänomens formulieren wir die Hypothese der Constraint-Prioritätsinversion (Constraint Priority Inversion, CPI), die besagt, dass die Schema-Erfüllung unter mehreren gleichzeitigen Einschränkungen das Aktionsauswahlverhalten dominieren kann. Wir präsentieren CPI als eine mit der beobachteten Evidenz konsistente Verhaltenshypothese, nicht als einen verifizierten internen Mechanismus. Zur Milderung des Problems schlagen wir die transparente Zwei-Durchlauf-Ausführung (Transparent Two-Pass Execution) vor, eine Inferenzzeitstrategie, die die Werkzeugausführung von der schema-gebundenen Antwortgenerierung entkoppelt. Experimentelle Ergebnisse zeigen, dass dieser Ansatz den Werkzeugaufruf wiederherstellt, während strukturierte Ausgabengarantien erhalten bleiben, ohne dass ein Modell-Neutraining erforderlich ist. Diese Ergebnisse legen nahe, dass eine getrennte Evaluierung von Werkzeugnutzung und strukturierter Ausgabe wichtige Zuverlässigkeitsprobleme in Produktions-Agent-Systemen übersehen könnte. Code, Daten und Dokumentation werden unter https://github.com/Fzsama/Constrain-Tax-26-06.git veröffentlicht.

English

Tool Calling and Structured Output are two core capabilities of modern Agent systems, yet their interaction under joint deployment conditions remains insufficiently understood. This paper reports a reproducible phenomenon observed in a production Agent system: when Tool Calling and JSON Schema constraints are simultaneously enabled, multiple open-weight models cease invoking tools despite maintaining high schema compliance. We refer to this behavior as Tool Suppression. Through controlled experiments across multiple model families and deployment settings, we consistently reproduce Tool Suppression under joint constraints, while tool execution and schema compliance remain functional when evaluated independently. Further analysis reveals that JSON Schema constraints are compiled into grammar-based token masks, causing tool-call tokens to become unreachable during decoding. This provides an implementation-level explanation for the observed behavior. To interpret the phenomenon, we formulate the Constraint Priority Inversion (CPI) hypothesis, which suggests that schema satisfaction may dominate action-selection behavior under multiple simultaneous constraints. We present CPI as a behavioral hypothesis consistent with the observed evidence rather than a verified internal mechanism. To mitigate the problem, we propose Transparent Two-Pass Execution, an inference-time strategy that decouples tool execution from schema-constrained response generation. Experimental results show that this approach restores tool invocation while preserving structured output guarantees without requiring model retraining. These findings suggest that evaluating tool use and structured output separately may overlook important reliability issues in production Agent systems. Code, data, and docs will be released at https://github.com/Fzsama/Constrain-Tax-26-06.git.