CCTU：複雑な制約条件下におけるツール使用のベンチマーク

要旨

明示的な制約下でのツール利用による問題解決は、大規模言語モデル（LLM）にとって非常に困難ながら避けて通れないシナリオであり、関数呼び出し、指示追従、自己修正などの能力を必要とします。しかし、専用の評価手法が存在しないため、進展が妨げられてきました。この問題に対処するため、我々は複雑な制約下におけるLLMのツール利用評価のためのベンチマークCCTUを提案します。CCTUは、4つの次元（リソース、行動、ツールセット、応答）にまたがる12の制約カテゴリからなる分類体系に基づいています。本ベンチマークは、多様なツール利用シナリオにおける200件の厳選された難易度の高いテストケースで構成され、各ケースは平均7種類の制約タイプを含み、プロンプト長は平均4,700トークンを超えます。信頼性の高い評価を可能にするため、ステップ単位の検証を実行し、モデルと環境間のマルチターン相互作用中に制約遵守を強制する、実行可能な制約検証モジュールを開発しました。9つの最先端LLMを思考モードと非思考モードの両方で評価しました。結果は、全ての制約を厳密に遵守する必要がある場合、どのモデルもタスク完了率20%を超えないことを示しています。さらに分析すると、モデルは特にリソースと応答の次元において、50%以上のケースで制約に違反していることが明らかになりました。また、LLMは制約違反に関する詳細なフィードバックを受けた後でも、自己修正能力が限られていることが分かり、堅牢なツール利用エージェント開発における重大なボトルネックが浮き彫りになりました。今後の研究の発展に向け、データとコードを公開します。

English

Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.

CCTU：複雑な制約条件下におけるツール使用のベンチマーク

CCTU: A Benchmark for Tool Use under Complex Constraints

要旨

Support