CCTU: Ein Benchmark für den Werkzeuggebrauch unter komplexen Randbedingungen

Zusammenfassung

Die Lösung von Problemen durch Werkzeugnutzung unter expliziten Einschränkungen stellt ein äußerst anspruchsvolles, aber unvermeidliches Szenario für große Sprachmodelle (LLMs) dar, das Fähigkeiten wie Funktionsaufruf, Befolgung von Anweisungen und Selbstverbesserung erfordert. Der Fortschritt wurde jedoch durch das Fehlen spezieller Evaluierungen behindert. Um dies zu beheben, führen wir CCTU ein, einen Benchmark zur Bewertung der Werkzeugnutzung von LLMs unter komplexen Einschränkungen. CCTU basiert auf einer Taxonomie von 12 Einschränkungskategorien, die vier Dimensionen umfassen (Ressourcen, Verhalten, Werkzeugsatz und Antwort). Der Benchmark besteht aus 200 sorgfältig zusammengestellten und anspruchsvollen Testfällen in verschiedenen Werkzeuganwendungsszenarien, wobei jeder Fall durchschnittlich sieben Einschränkungstypen und eine durchschnittliche Promptlänge von über 4.700 Tokens aufweist. Um eine zuverlässige Bewertung zu ermöglichen, entwickeln wir ein ausführbares Einschränkungsvalidierungsmodul, das eine schrittweise Validierung durchführt und die Einhaltung während mehrschrittiger Interaktionen zwischen Modellen und ihrer Umgebung erzwingt. Wir evaluieren neun state-of-the-art LLMs sowohl im Denk- als auch im Nicht-Denk-Modus. Die Ergebnisse zeigen, dass bei strenger Einhaltung aller Einschränkungen kein Modell eine Aufgabenabschlussrate von über 20 % erreicht. Eine weitere Analyse ergibt, dass Modelle in über 50 % der Fälle Einschränkungen verletzen, insbesondere in den Dimensionen Ressourcen und Antwort. Darüber hinaus zeigen LLMs nur eine begrenzte Fähigkeit zur Selbstverbesserung, selbst nachdem sie detailliertes Feedback zu Einschränkungsverletzungen erhalten haben, was einen kritischen Engpass in der Entwicklung robuster Werkzeugnutzungsagenten aufzeigt. Um zukünftige Forschung zu erleichtern, veröffentlichen wir die Daten und den Code.

English

Solving problems through tool use under explicit constraints constitutes a highly challenging yet unavoidable scenario for large language models (LLMs), requiring capabilities such as function calling, instruction following, and self-refinement. However, progress has been hindered by the absence of dedicated evaluations. To address this, we introduce CCTU, a benchmark for evaluating LLM tool use under complex constraints. CCTU is grounded in a taxonomy of 12 constraint categories spanning four dimensions (i.e., resource, behavior, toolset, and response). The benchmark comprises 200 carefully curated and challenging test cases across diverse tool-use scenarios, each involving an average of seven constraint types and an average prompt length exceeding 4,700 tokens. To enable reliable evaluation, we develop an executable constraint validation module that performs step-level validation and enforces compliance during multi-turn interactions between models and their environments. We evaluate nine state-of-the-art LLMs in both thinking and non-thinking modes. Results indicate that when strict adherence to all constraints is required, no model achieves a task completion rate above 20%. Further analysis reveals that models violate constraints in over 50% of cases, particularly in the resource and response dimensions. Moreover, LLMs demonstrate limited capacity for self-refinement even after receiving detailed feedback on constraint violations, highlighting a critical bottleneck in the development of robust tool-use agents. To facilitate future research, we release the data and code.

CCTU: Ein Benchmark für den Werkzeuggebrauch unter komplexen Randbedingungen

CCTU: A Benchmark for Tool Use under Complex Constraints

Zusammenfassung

Support