Taxe de contrainte dans les LLMs à poids ouverts : une étude empirique de la suppression d'appels d'outils sous contraintes de sortie structurée

Résumé

L'appel d'outils (Tool Calling) et la sortie structurée (Structured Output) sont deux capacités essentielles des systèmes d'agents modernes, mais leur interaction dans des conditions de déploiement conjoint reste insuffisamment comprise. Cet article rapporte un phénomène reproductible observé dans un système d'agents en production : lorsque l'appel d'outils et les contraintes de schéma JSON sont activés simultanément, plusieurs modèles à poids ouverts cessent d'invoquer des outils tout en maintenant une conformité élevée au schéma. Nous désignons ce comportement sous le terme de Suppression d'outils (Tool Suppression). Grâce à des expériences contrôlées menées sur plusieurs familles de modèles et configurations de déploiement, nous reproduisons de manière cohérente la Suppression d'outils sous contraintes conjointes, alors que l'exécution des outils et la conformité au schéma restent fonctionnelles lorsqu'évaluées indépendamment. Une analyse plus approfondie révèle que les contraintes de schéma JSON sont compilées en masques de tokens basés sur la grammaire, rendant les tokens d'appel d'outils inaccessibles lors du décodage. Cela fournit une explication au niveau de l'implémentation pour le comportement observé. Pour interpréter ce phénomène, nous formulons l'hypothèse d'inversion de priorité des contraintes (Constraint Priority Inversion, CPI), qui suggère que la satisfaction du schéma peut dominer le comportement de sélection d'action sous contraintes multiples simultanées. Nous présentons la CPI comme une hypothèse comportementale cohérente avec les preuves observées, plutôt qu'un mécanisme interne vérifié. Pour atténuer le problème, nous proposons l'exécution transparente en deux passes (Transparent Two-Pass Execution), une stratégie au moment de l'inférence qui dissocie l'exécution des outils de la génération de réponse contrainte par le schéma. Les résultats expérimentaux montrent que cette approche rétablit l'invocation des outils tout en préservant les garanties de sortie structurée, sans nécessiter de réentraînement du modèle. Ces résultats suggèrent qu'évaluer séparément l'utilisation des outils et la sortie structurée peut négliger des problèmes de fiabilité importants dans les systèmes d'agents en production. Le code, les données et la documentation seront publiés à l'adresse https://github.com/Fzsama/Constrain-Tax-26-06.git.

English

Tool Calling and Structured Output are two core capabilities of modern Agent systems, yet their interaction under joint deployment conditions remains insufficiently understood. This paper reports a reproducible phenomenon observed in a production Agent system: when Tool Calling and JSON Schema constraints are simultaneously enabled, multiple open-weight models cease invoking tools despite maintaining high schema compliance. We refer to this behavior as Tool Suppression. Through controlled experiments across multiple model families and deployment settings, we consistently reproduce Tool Suppression under joint constraints, while tool execution and schema compliance remain functional when evaluated independently. Further analysis reveals that JSON Schema constraints are compiled into grammar-based token masks, causing tool-call tokens to become unreachable during decoding. This provides an implementation-level explanation for the observed behavior. To interpret the phenomenon, we formulate the Constraint Priority Inversion (CPI) hypothesis, which suggests that schema satisfaction may dominate action-selection behavior under multiple simultaneous constraints. We present CPI as a behavioral hypothesis consistent with the observed evidence rather than a verified internal mechanism. To mitigate the problem, we propose Transparent Two-Pass Execution, an inference-time strategy that decouples tool execution from schema-constrained response generation. Experimental results show that this approach restores tool invocation while preserving structured output guarantees without requiring model retraining. These findings suggest that evaluating tool use and structured output separately may overlook important reliability issues in production Agent systems. Code, data, and docs will be released at https://github.com/Fzsama/Constrain-Tax-26-06.git.