CCTU : Un benchmark pour l'utilisation d'outils sous contraintes complexes
CCTU: A Benchmark for Tool Use under Complex Constraints
March 16, 2026
Auteurs: Junjie Ye, Guoqiang Zhang, Wenjie Fu, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Résumé
La résolution de problèmes par utilisation d'outils sous contraintes explicites constitue un scénario extrêmement difficile mais incontournable pour les grands modèles de langage (LLM), nécessitant des capacités telles que l'appel de fonctions, le suivi d'instructions et l'auto-affinement. Cependant, les progrès sont entravés par l'absence d'évaluations dédiées. Pour y remédier, nous présentons CCTU, un benchmark pour évaluer l'utilisation d'outils par les LLM sous contraintes complexes. CCTU s'appuie sur une taxonomie de 12 catégories de contraintes couvrant quatre dimensions (à savoir les ressources, le comportement, l'ensemble d'outils et la réponse). Le benchmark comprend 200 cas de test soigneusement conçus et difficiles, couvrant divers scénarios d'utilisation d'outils, chacun impliquant en moyenne sept types de contraintes et une longueur d'invite moyenne dépassant 4700 tokens. Pour permettre une évaluation fiable, nous développons un module exécutable de validation des contraintes qui effectue une validation au niveau des étapes et assure la conformité lors d'interactions multi-tours entre les modèles et leur environnement. Nous évaluons neuf LLM de pointe dans des modes avec et sans réflexion. Les résultats indiquent que lorsqu'une adhésion stricte à toutes les contraintes est requise, aucun modèle n'atteint un taux de réalisation des tâches supérieur à 20%. Une analyse plus poussée révèle que les modèles violent les contraintes dans plus de 50% des cas, particulièrement dans les dimensions des ressources et des réponses. De plus, les LLM démontrent une capacité limitée à l'auto-affinement même après avoir reçu un retour détaillé sur les violations de contraintes, soulignant un goulot d'étranglement critique dans le développement d'agents robustes d'utilisation d'outils. Pour faciliter les recherches futures, nous rendons publiques les données et le code.
English
Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.