Carga de restricción en LLMs de pesos abiertos: Un estudio empírico de la supresión de llamadas a herramientas bajo restricciones de salida estructurada

Resumen

Llamada a herramientas y salida estructurada son dos capacidades fundamentales de los sistemas de agentes modernos, pero su interacción en condiciones de despliegue conjunto aún no se comprende suficientemente. Este artículo reporta un fenómeno reproducible observado en un sistema de agente en producción: cuando la Llamada a herramientas y las restricciones de JSON Schema se habilitan simultáneamente, múltiples modelos de peso abierto dejan de invocar herramientas, a pesar de mantener un alto cumplimiento del esquema. Nos referimos a este comportamiento como Supresión de herramientas. Mediante experimentos controlados en múltiples familias de modelos y configuraciones de despliegue, reproducimos consistentemente la Supresión de herramientas bajo restricciones conjuntas, mientras que la ejecución de herramientas y el cumplimiento del esquema permanecen funcionales cuando se evalúan de forma independiente. Un análisis adicional revela que las restricciones de JSON Schema se compilan en máscaras de tokens basadas en gramática, lo que provoca que los tokens de llamada a herramienta se vuelvan inalcanzables durante la decodificación. Esto proporciona una explicación a nivel de implementación para el comportamiento observado. Para interpretar el fenómeno, formulamos la hipótesis de Inversión de Prioridad de Restricciones (CPI, por sus siglas en inglés), que sugiere que la satisfacción del esquema puede dominar el comportamiento de selección de acciones bajo múltiples restricciones simultáneas. Presentamos CPI como una hipótesis conductual coherente con la evidencia observada, y no como un mecanismo interno verificado. Para mitigar el problema, proponemos la Ejecución Transparente en Dos Pasos, una estrategia en tiempo de inferencia que desacopla la ejecución de herramientas de la generación de respuestas restringidas por esquema. Los resultados experimentales muestran que este enfoque restaura la invocación de herramientas mientras preserva las garantías de salida estructurada, sin requerir reentrenamiento del modelo. Estos hallazgos sugieren que evaluar el uso de herramientas y la salida estructurada por separado puede pasar por alto problemas importantes de fiabilidad en sistemas de agentes en producción. El código, los datos y la documentación se publicarán en https://github.com/Fzsama/Constrain-Tax-26-06.git.

English

Tool Calling and Structured Output are two core capabilities of modern Agent systems, yet their interaction under joint deployment conditions remains insufficiently understood. This paper reports a reproducible phenomenon observed in a production Agent system: when Tool Calling and JSON Schema constraints are simultaneously enabled, multiple open-weight models cease invoking tools despite maintaining high schema compliance. We refer to this behavior as Tool Suppression. Through controlled experiments across multiple model families and deployment settings, we consistently reproduce Tool Suppression under joint constraints, while tool execution and schema compliance remain functional when evaluated independently. Further analysis reveals that JSON Schema constraints are compiled into grammar-based token masks, causing tool-call tokens to become unreachable during decoding. This provides an implementation-level explanation for the observed behavior. To interpret the phenomenon, we formulate the Constraint Priority Inversion (CPI) hypothesis, which suggests that schema satisfaction may dominate action-selection behavior under multiple simultaneous constraints. We present CPI as a behavioral hypothesis consistent with the observed evidence rather than a verified internal mechanism. To mitigate the problem, we propose Transparent Two-Pass Execution, an inference-time strategy that decouples tool execution from schema-constrained response generation. Experimental results show that this approach restores tool invocation while preserving structured output guarantees without requiring model retraining. These findings suggest that evaluating tool use and structured output separately may overlook important reliability issues in production Agent systems. Code, data, and docs will be released at https://github.com/Fzsama/Constrain-Tax-26-06.git.