CCTU: Um Benchmark para o Uso de Ferramentas sob Restrições Complexas
CCTU: A Benchmark for Tool Use under Complex Constraints
March 16, 2026
Autores: Junjie Ye, Guoqiang Zhang, Wenjie Fu, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Resumo
A resolução de problemas através do uso de ferramentas sob restrições explícitas constitui um cenário altamente desafiador, mas inevitável, para os grandes modelos de linguagem (LLMs), exigindo capacidades como chamada de funções, seguimento de instruções e autorrefinamento. No entanto, o progresso tem sido dificultado pela ausência de avaliações dedicadas. Para resolver esta lacuna, apresentamos o CCTU, um benchmark para avaliar o uso de ferramentas por LLMs sob restrições complexas. O CCTU é baseado numa taxonomia de 12 categorias de restrições que abrangem quatro dimensões (ou seja, recurso, comportamento, conjunto de ferramentas e resposta). O benchmark compreende 200 casos de teste criteriosamente curados e desafiadores, abrangendo diversos cenários de uso de ferramentas, cada um envolvendo uma média de sete tipos de restrição e um comprimento médio de prompt superior a 4.700 tokens. Para permitir uma avaliação confiável, desenvolvemos um módulo executável de validação de restrições que realiza uma validação a nível de etapa e impõe a conformidade durante interações multi-turno entre os modelos e os seus ambientes. Avaliamos nove LLMs state-of-the-art em modos de pensamento e sem pensamento. Os resultados indicam que, quando é exigida uma adesão estrita a todas as restrições, nenhum modelo atinge uma taxa de conclusão de tarefas superior a 20%. Uma análise mais aprofundada revela que os modelos violam restrições em mais de 50% dos casos, particularmente nas dimensões de recurso e resposta. Além disso, os LLMs demonstram uma capacidade limitada de autorrefinamento mesmo após receberem feedback detalhado sobre violações de restrições, destacando um gargalo crítico no desenvolvimento de agentes robustos de uso de ferramentas. Para facilitar pesquisas futuras, disponibilizamos os dados e o código.
English
Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.