Налог ограничений в LLM с открытыми весами: эмпирическое исследование подавления вызова инструментов при ограничениях на структурированный вывод

Аннотация

Вызов инструментов и структурированный вывод являются двумя ключевыми возможностями современных агентных систем, однако их взаимодействие в условиях совместного развертывания остается недостаточно изученным. В данной статье сообщается о воспроизводимом явлении, наблюдавшемся в продуктивной агентной системе: при одновременном включении вызова инструментов и ограничений JSON-схемы несколько моделей с открытыми весами прекращают вызывать инструменты, несмотря на высокую степень соблюдения схемы. Мы называем такое поведение подавлением инструментов. В ходе контролируемых экспериментов с несколькими семействами моделей и условиями развертывания мы последовательно воспроизводим подавление инструментов при совместных ограничениях, в то время как выполнение инструментов и соответствие схеме остаются работоспособными при независимом оценивании. Дальнейший анализ показывает, что ограничения JSON-схемы компилируются в грамматические токен-маски, что делает токены вызова инструментов недостижимыми в процессе декодирования. Это дает объяснение наблюдаемому поведению на уровне реализации. Для интерпретации явления мы формулируем гипотезу инверсии приоритета ограничений (CPI), которая предполагает, что при наличии нескольких одновременных ограничений удовлетворение схемы может доминировать над поведением выбора действий. Мы представляем CPI как поведенческую гипотезу, согласующуюся с наблюдаемыми данными, а не как подтвержденный внутренний механизм. Для смягчения проблемы мы предлагаем прозрачное двухпроходное выполнение — стратегию на этапе инференса, которая разделяет выполнение инструментов и генерацию ответа с ограничениями схемы. Экспериментальные результаты показывают, что данный подход восстанавливает вызов инструментов, сохраняя гарантии структурированного вывода без необходимости переобучения модели. Эти выводы свидетельствуют о том, что раздельная оценка использования инструментов и структурированного вывода может упускать из виду важные проблемы надежности в продуктивных агентных системах. Код, данные и документация будут опубликованы по адресу https://github.com/Fzsama/Constrain-Tax-26-06.git.

English

Tool Calling and Structured Output are two core capabilities of modern Agent systems, yet their interaction under joint deployment conditions remains insufficiently understood. This paper reports a reproducible phenomenon observed in a production Agent system: when Tool Calling and JSON Schema constraints are simultaneously enabled, multiple open-weight models cease invoking tools despite maintaining high schema compliance. We refer to this behavior as Tool Suppression. Through controlled experiments across multiple model families and deployment settings, we consistently reproduce Tool Suppression under joint constraints, while tool execution and schema compliance remain functional when evaluated independently. Further analysis reveals that JSON Schema constraints are compiled into grammar-based token masks, causing tool-call tokens to become unreachable during decoding. This provides an implementation-level explanation for the observed behavior. To interpret the phenomenon, we formulate the Constraint Priority Inversion (CPI) hypothesis, which suggests that schema satisfaction may dominate action-selection behavior under multiple simultaneous constraints. We present CPI as a behavioral hypothesis consistent with the observed evidence rather than a verified internal mechanism. To mitigate the problem, we propose Transparent Two-Pass Execution, an inference-time strategy that decouples tool execution from schema-constrained response generation. Experimental results show that this approach restores tool invocation while preserving structured output guarantees without requiring model retraining. These findings suggest that evaluating tool use and structured output separately may overlook important reliability issues in production Agent systems. Code, data, and docs will be released at https://github.com/Fzsama/Constrain-Tax-26-06.git.