CCTU: Un Punto de Referencia para el Uso de Herramientas bajo Restricciones Complejas

CCTU: A Benchmark for Tool Use under Complex Constraints

March 16, 2026

Autores: Junjie Ye, Guoqiang Zhang, Wenjie Fu, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

Resumen

La resolución de problemas mediante el uso de herramientas bajo restricciones explícitas constituye un escenario altamente desafiante pero inevitable para los grandes modelos de lenguaje (LLMs), que requiere capacidades como la invocación de funciones, el seguimiento de instrucciones y la autorrefinación. Sin embargo, el progreso se ha visto obstaculizado por la ausencia de evaluaciones dedicadas. Para abordar esto, presentamos CCTU, un benchmark para evaluar el uso de herramientas por parte de LLMs bajo restricciones complejas. CCTU se basa en una taxonomía de 12 categorías de restricciones que abarcan cuatro dimensiones (es decir, recurso, comportamiento, conjunto de herramientas y respuesta). El benchmark comprende 200 casos de prueba cuidadosamente seleccionados y desafiantes en diversos escenarios de uso de herramientas, cada uno de los cuales involucra un promedio de siete tipos de restricciones y una longitud promedio de prompt superior a 4.700 tokens. Para permitir una evaluación confiable, desarrollamos un módulo ejecutable de validación de restricciones que realiza una validación a nivel de paso y hace cumplir el cumplimiento durante las interacciones multiturno entre los modelos y sus entornos. Evaluamos nueve LLMs de vanguardia en modos tanto de pensamiento como de no pensamiento. Los resultados indican que cuando se requiere una adherencia estricta a todas las restricciones, ningún modelo alcanza una tasa de finalización de tareas superior al 20%. Un análisis más profundo revela que los modelos violan las restricciones en más del 50% de los casos, particularmente en las dimensiones de recurso y respuesta. Además, los LLMs demuestran una capacidad limitada para la autorrefinación incluso después de recibir comentarios detallados sobre las violaciones de restricciones, lo que resalta un cuello de botella crítico en el desarrollo de agentes robustos de uso de herramientas. Para facilitar la investigación futura, publicamos los datos y el código.

English

Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.