CCTU: Un Benchmark per l'Utilizzo di Strumenti sotto Vincoli Complessi
CCTU: A Benchmark for Tool Use under Complex Constraints
March 16, 2026
Autori: Junjie Ye, Guoqiang Zhang, Wenjie Fu, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Abstract
La risoluzione di problemi mediante l'utilizzo di strumenti sotto vincoli espliciti costituisce uno scenario altamente impegnativo ma inevitabile per i grandi modelli linguistici (LLM), che richiede capacità come la chiamata di funzioni, il rispetto di istruzioni e l'auto-miglioramento. Tuttavia, i progressi sono stati ostacolati dall'assenza di valutazioni dedicate. Per affrontare questa lacuna, introduciamo CCTU, un benchmark per valutare l'uso di strumenti da parte degli LLM sotto vincoli complessi. CCTU si basa su una tassonomia di 12 categorie di vincoli che abbracciano quattro dimensioni (risorse, comportamento, set di strumenti e risposta). Il benchmark comprende 200 casi di test accuratamente curati e impegnativi, relativi a diversi scenari di utilizzo di strumenti, ciascuno dei quali coinvolge in media sette tipi di vincoli e una lunghezza media del prompt superiore a 4.700 token. Per consentire una valutazione affidabile, abbiamo sviluppato un modulo eseguibile di convalida dei vincoli che esegue una validazione a livello di step e impone la conformità durante le interazioni multi-turno tra i modelli e i loro ambienti. Abbiamo valutato nove LLM all'avanguardia sia in modalità "con ragionamento" che "senza ragionamento". I risultati indicano che, quando è richiesto il rigoroso rispetto di tutti i vincoli, nessun modello raggiunge un tasso di completamento dei task superiore al 20%. Un'analisi più approfondita rivela che i modelli violano i vincoli in oltre il 50% dei casi, in particolare nelle dimensioni delle risorse e della risposta. Inoltre, gli LLM dimostrano una capacità limitata di auto-miglioramento anche dopo aver ricevuto feedback dettagliati sulle violazioni dei vincoli, evidenziando un collo di bottiglia critico nello sviluppo di agenti robusti per l'uso di strumenti. Per facilitare la ricerca futura, rendiamo pubblici dati e codice.
English
Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.