AgentTTS: Taalmodelagent op grote schaal voor testtijd compute-optimale schaalstrategie in complexe taken

AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

July 26, 2025

Auteurs: Fali Wang, Hui Liu, Zhenwei Dai, Jingying Zeng, Zhiwei Zhang, Zongyu Wu, Chen Luo, Zhen Li, Xianfeng Tang, Qi He, Suhang Wang

cs.AI

Samenvatting

Test-time scaling (TTS) verbetert de prestaties van grote taalmodellen (LLMs) door extra rekenbronnen toe te wijzen tijdens de inferentie. Bestaand onderzoek richt zich echter voornamelijk op TTS in taken met één fase, terwijl veel real-world problemen complexe taken met meerdere fasen zijn, bestaande uit een reeks heterogene subtaken waarbij elke subtask een LLM met specifieke capaciteiten vereist. Daarom bestuderen we een nieuw probleem: de test-time compute-optimale schaling in complexe taken met meerdere fasen, met als doel geschikte modellen te selecteren en budgetten per subtask toe te wijzen om de algehele prestaties te maximaliseren. TTS in taken met meerdere fasen introduceert twee fundamentele uitdagingen: (i) De combinatorische zoekruimte van model- en budgettoewijzingen, gecombineerd met de hoge kosten van inferentie, maakt brute-force zoeken onpraktisch. (ii) De optimale model- en budgettoewijzingen over subtaken zijn onderling afhankelijk, wat de complexiteit van de compute-optimale zoekopdracht vergroot. Om deze kloof te overbruggen, voeren we uitgebreide pilootexperimenten uit op vier taken over zes datasets, waarbij we drie empirische inzichten afleiden die het gedrag van LLMs in complexe taken met meerdere fasen karakteriseren. Geïnformeerd door deze inzichten stellen we AgentTTS voor, een LLM-agent-gebaseerd framework dat autonoom zoekt naar compute-optimale toewijzingen via iteratieve feedback-gestuurde interacties met de uitvoeringsomgeving. Experimentele resultaten tonen aan dat AgentTTS traditionele en andere LLM-gebaseerde baseline-methoden significant overtreft in zoekefficiëntie, en verbeterde robuustheid toont bij variërende trainingssetgroottes en een verhoogde interpreteerbaarheid.

English

Test-time scaling (TTS) enhances the performance of large language models (LLMs) by allocating additional compute resources during inference. However, existing research primarily investigates TTS in single-stage tasks; while many real-world problems are multi-stage complex tasks, composed of a sequence of heterogeneous subtasks with each subtask requires LLM of specific capability. Therefore, we study a novel problem: the test-time compute-optimal scaling in multi-stage complex tasks, aiming to select suitable models and allocate budgets per subtask to maximize overall performance. TTS in multi-stage tasks introduces two fundamental challenges: (i) The combinatorial search space of model and budget allocations, combined with the high cost of inference, makes brute-force search impractical. (ii) The optimal model and budget allocations across subtasks are interdependent, increasing the complexity of the compute-optimal search. To address this gap, we conduct extensive pilot experiments on four tasks across six datasets, deriving three empirical insights characterizing the behavior of LLMs in multi-stage complex tasks. Informed by these insights, we propose AgentTTS, an LLM-agent-based framework that autonomously searches for compute-optimal allocations through iterative feedback-driven interactions with the execution environment. Experimental results demonstrate that AgentTTS significantly outperforms traditional and other LLM-based baselines in search efficiency, and shows improved robustness to varying training set sizes and enhanced interpretability.