AgentTTS: Großes Sprachmodell-Agent für testzeitliche rechenoptimale Skalierungsstrategie in komplexen Aufgaben

AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

July 26, 2025

papers.authors: Fali Wang, Hui Liu, Zhenwei Dai, Jingying Zeng, Zhiwei Zhang, Zongyu Wu, Chen Luo, Zhen Li, Xianfeng Tang, Qi He, Suhang Wang

cs.AI

papers.abstract

Test-Time Scaling (TTS) verbessert die Leistung großer Sprachmodelle (LLMs), indem zusätzliche Rechenressourcen während der Inferenz zugewiesen werden. Bisherige Forschung untersucht TTS jedoch hauptsächlich in einstufigen Aufgaben, während viele reale Probleme mehrstufige komplexe Aufgaben darstellen, die aus einer Sequenz heterogener Teilaufgaben bestehen, wobei jede Teilaufgabe spezifische Fähigkeiten des LLMs erfordert. Daher untersuchen wir ein neuartiges Problem: das compute-optimale Test-Time Scaling in mehrstufigen komplexen Aufgaben, mit dem Ziel, geeignete Modelle auszuwählen und Budgets pro Teilaufgabe zuzuweisen, um die Gesamtleistung zu maximieren. TTS in mehrstufigen Aufgaben führt zu zwei grundlegenden Herausforderungen: (i) Der kombinatorische Suchraum von Modell- und Budgetzuweisungen, kombiniert mit den hohen Kosten der Inferenz, macht eine Brute-Force-Suche unpraktikabel. (ii) Die optimalen Modell- und Budgetzuweisungen über die Teilaufgaben hinweg sind interdependent, was die Komplexität der compute-optimalen Suche erhöht. Um diese Lücke zu schließen, führen wir umfangreiche Pilotexperimente zu vier Aufgaben über sechs Datensätze durch und leiten drei empirische Erkenntnisse ab, die das Verhalten von LLMs in mehrstufigen komplexen Aufgaben charakterisieren. Basierend auf diesen Erkenntnissen schlagen wir AgentTTS vor, ein LLM-Agenten-basiertes Framework, das autonom nach compute-optimalen Zuweisungen durch iterative, feedback-gesteuerte Interaktionen mit der Ausführungsumgebung sucht. Experimentelle Ergebnisse zeigen, dass AgentTTS traditionelle und andere LLM-basierte Baseline-Ansätze in der Sucheffizienz deutlich übertrifft und eine verbesserte Robustheit gegenüber variierenden Trainingsdatensatzgrößen sowie eine erhöhte Interpretierbarkeit aufweist.

English

Test-time scaling (TTS) enhances the performance of large language models (LLMs) by allocating additional compute resources during inference. However, existing research primarily investigates TTS in single-stage tasks; while many real-world problems are multi-stage complex tasks, composed of a sequence of heterogeneous subtasks with each subtask requires LLM of specific capability. Therefore, we study a novel problem: the test-time compute-optimal scaling in multi-stage complex tasks, aiming to select suitable models and allocate budgets per subtask to maximize overall performance. TTS in multi-stage tasks introduces two fundamental challenges: (i) The combinatorial search space of model and budget allocations, combined with the high cost of inference, makes brute-force search impractical. (ii) The optimal model and budget allocations across subtasks are interdependent, increasing the complexity of the compute-optimal search. To address this gap, we conduct extensive pilot experiments on four tasks across six datasets, deriving three empirical insights characterizing the behavior of LLMs in multi-stage complex tasks. Informed by these insights, we propose AgentTTS, an LLM-agent-based framework that autonomously searches for compute-optimal allocations through iterative feedback-driven interactions with the execution environment. Experimental results demonstrate that AgentTTS significantly outperforms traditional and other LLM-based baselines in search efficiency, and shows improved robustness to varying training set sizes and enhanced interpretability.