CCTU: Бенчмарк для использования инструментов в условиях сложных ограничений

CCTU: A Benchmark for Tool Use under Complex Constraints

March 16, 2026

Авторы: Junjie Ye, Guoqiang Zhang, Wenjie Fu, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

Аннотация

Решение задач с использованием инструментов при наличии явных ограничений представляет собой крайне сложный, но неизбежный сценарий для больших языковых моделей (LLM), требующий таких способностей, как вызов функций, следование инструкциям и самокоррекция. Однако прогресс сдерживался отсутствием специализированных оценок. Чтобы устранить этот пробел, мы представляем CCTU — бенчмарк для оценки использования инструментов LLM в условиях сложных ограничений. CCTU основан на таксономии из 12 категорий ограничений, охватывающих четыре измерения (а именно: ресурсы, поведение, набор инструментов и ответ). Бенчмарк включает 200 тщательно отобранных сложных тестовых случаев в разнообразных сценариях использования инструментов, каждый из которых в среднем затрагивает семь типов ограничений и имеет среднюю длину промпта, превышающую 4700 токенов. Для обеспечения надежной оценки мы разработали исполняемый модуль валидации ограничений, который выполняет пошаговую проверку и обеспечивает соблюдение правил в ходе многотурового взаимодействия между моделями и их окружением. Мы оценили девять современных LLM в двух режимах: с размышлением и без. Результаты показывают, что при требовании строгого соблюдения всех ограничений ни одна модель не достигает уровня завершения задач выше 20%. Дальнейший анализ reveals, что модели нарушают ограничения более чем в 50% случаев, особенно в измерениях ресурсов и ответа. Более того, LLM демонстрируют ограниченную способность к самокоррекции даже после получения детальной обратной связи о нарушениях ограничений, что указывает на критическое узкое место в разработке надежных агентов, использующих инструменты. Для содействия будущим исследованиям мы публикуем данные и код.

English

Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.