AgentTTS: Agente de Modelo de Linguagem de Grande Escala para Estratégia de Escalonamento Ótimo de Computação em Tempo de Teste em Tarefas Complexas

AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

July 26, 2025

Autores: Fali Wang, Hui Liu, Zhenwei Dai, Jingying Zeng, Zhiwei Zhang, Zongyu Wu, Chen Luo, Zhen Li, Xianfeng Tang, Qi He, Suhang Wang

cs.AI

Resumo

O escalonamento em tempo de teste (TTS) melhora o desempenho de grandes modelos de linguagem (LLMs) ao alocar recursos computacionais adicionais durante a inferência. No entanto, pesquisas existentes investigam principalmente o TTS em tarefas de estágio único; enquanto muitos problemas do mundo real são tarefas complexas de múltiplos estágios, compostas por uma sequência de subtarefas heterogêneas, onde cada subtarefa exige um LLM com capacidade específica. Portanto, estudamos um novo problema: o escalonamento computacionalmente ótimo em tempo de teste para tarefas complexas de múltiplos estágios, visando selecionar modelos adequados e alocar orçamentos por subtarefa para maximizar o desempenho geral. O TTS em tarefas de múltiplos estágios introduz dois desafios fundamentais: (i) O espaço de busca combinatório de alocações de modelos e orçamentos, combinado com o alto custo da inferência, torna a busca por força bruta impraticável. (ii) As alocações ótimas de modelos e orçamentos entre as subtarefas são interdependentes, aumentando a complexidade da busca computacionalmente ótima. Para abordar essa lacuna, conduzimos extensos experimentos piloto em quatro tarefas em seis conjuntos de dados, derivando três insights empíricos que caracterizam o comportamento dos LLMs em tarefas complexas de múltiplos estágios. Com base nesses insights, propomos o AgentTTS, um framework baseado em agentes LLM que busca autonomamente alocações computacionalmente ótimas por meio de interações iterativas orientadas por feedback com o ambiente de execução. Resultados experimentais demonstram que o AgentTTS supera significativamente as abordagens tradicionais e outras baseadas em LLMs em eficiência de busca, além de mostrar maior robustez a diferentes tamanhos de conjuntos de treinamento e maior interpretabilidade.

English

Test-time scaling (TTS) enhances the performance of large language models (LLMs) by allocating additional compute resources during inference. However, existing research primarily investigates TTS in single-stage tasks; while many real-world problems are multi-stage complex tasks, composed of a sequence of heterogeneous subtasks with each subtask requires LLM of specific capability. Therefore, we study a novel problem: the test-time compute-optimal scaling in multi-stage complex tasks, aiming to select suitable models and allocate budgets per subtask to maximize overall performance. TTS in multi-stage tasks introduces two fundamental challenges: (i) The combinatorial search space of model and budget allocations, combined with the high cost of inference, makes brute-force search impractical. (ii) The optimal model and budget allocations across subtasks are interdependent, increasing the complexity of the compute-optimal search. To address this gap, we conduct extensive pilot experiments on four tasks across six datasets, deriving three empirical insights characterizing the behavior of LLMs in multi-stage complex tasks. Informed by these insights, we propose AgentTTS, an LLM-agent-based framework that autonomously searches for compute-optimal allocations through iterative feedback-driven interactions with the execution environment. Experimental results demonstrate that AgentTTS significantly outperforms traditional and other LLM-based baselines in search efficiency, and shows improved robustness to varying training set sizes and enhanced interpretability.