AgentTTS: Modelo de Lenguaje de Gran Escala como Agente para Estrategias de Escalado Óptimo de Cómputo en Tiempo de Prueba para Tareas Complejas

AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

July 26, 2025

Autores: Fali Wang, Hui Liu, Zhenwei Dai, Jingying Zeng, Zhiwei Zhang, Zongyu Wu, Chen Luo, Zhen Li, Xianfeng Tang, Qi He, Suhang Wang

cs.AI

Resumen

El escalado en tiempo de prueba (TTS, por sus siglas en inglés) mejora el rendimiento de los modelos de lenguaje grandes (LLMs) al asignar recursos computacionales adicionales durante la inferencia. Sin embargo, la investigación existente se centra principalmente en TTS para tareas de una sola etapa, mientras que muchos problemas del mundo real son tareas complejas de múltiples etapas, compuestas por una secuencia de subtareas heterogéneas, donde cada subtarea requiere un LLM con capacidades específicas. Por lo tanto, estudiamos un problema novedoso: el escalado computacional óptimo en tiempo de prueba para tareas complejas de múltiples etapas, con el objetivo de seleccionar modelos adecuados y asignar presupuestos por subtarea para maximizar el rendimiento general. El TTS en tareas de múltiples etapas introduce dos desafíos fundamentales: (i) El espacio de búsqueda combinatorio de asignaciones de modelos y presupuestos, combinado con el alto costo de la inferencia, hace que la búsqueda por fuerza bruta sea inviable. (ii) Las asignaciones óptimas de modelos y presupuestos entre subtareas son interdependientes, lo que aumenta la complejidad de la búsqueda computacional óptima. Para abordar esta brecha, realizamos extensos experimentos piloto en cuatro tareas a través de seis conjuntos de datos, obteniendo tres ideas empíricas que caracterizan el comportamiento de los LLMs en tareas complejas de múltiples etapas. Basándonos en estas ideas, proponemos AgentTTS, un marco basado en agentes LLM que busca de manera autónoma asignaciones computacionales óptimas mediante interacciones iterativas impulsadas por retroalimentación con el entorno de ejecución. Los resultados experimentales demuestran que AgentTTS supera significativamente a los enfoques tradicionales y otros basados en LLMs en eficiencia de búsqueda, además de mostrar una mayor robustez frente a variaciones en el tamaño de los conjuntos de entrenamiento y una mejor interpretabilidad.

English

Test-time scaling (TTS) enhances the performance of large language models (LLMs) by allocating additional compute resources during inference. However, existing research primarily investigates TTS in single-stage tasks; while many real-world problems are multi-stage complex tasks, composed of a sequence of heterogeneous subtasks with each subtask requires LLM of specific capability. Therefore, we study a novel problem: the test-time compute-optimal scaling in multi-stage complex tasks, aiming to select suitable models and allocate budgets per subtask to maximize overall performance. TTS in multi-stage tasks introduces two fundamental challenges: (i) The combinatorial search space of model and budget allocations, combined with the high cost of inference, makes brute-force search impractical. (ii) The optimal model and budget allocations across subtasks are interdependent, increasing the complexity of the compute-optimal search. To address this gap, we conduct extensive pilot experiments on four tasks across six datasets, deriving three empirical insights characterizing the behavior of LLMs in multi-stage complex tasks. Informed by these insights, we propose AgentTTS, an LLM-agent-based framework that autonomously searches for compute-optimal allocations through iterative feedback-driven interactions with the execution environment. Experimental results demonstrate that AgentTTS significantly outperforms traditional and other LLM-based baselines in search efficiency, and shows improved robustness to varying training set sizes and enhanced interpretability.