ToolCUA: Rumo à Orquestração Ótima de Caminhos de Ferramentas GUI para Agentes de Uso de Computador

Resumo

Agentes de Uso de Computador (CUAs) podem atuar tanto por meio de ações atômicas de GUI, como clicar e digitar, quanto por chamadas de ferramentas de alto nível, como operações de arquivos baseadas em API, mas esse espaço de ação híbrido frequentemente os deixa incertos sobre quando continuar com ações de GUI ou alternar para ferramentas, levando a caminhos de execução subótimos. Essa dificuldade decorre da escassez de trajetórias intercaladas de GUI-Ferramenta de alta qualidade, do custo e da fragilidade de coletar trajetórias reais de ferramentas e da falta de supervisão em nível de trajetória para a seleção de caminhos GUI-Ferramenta. Neste artigo, propomos ToolCUA, um agente ponta a ponta projetado para aprender a seleção ótima de caminhos GUI-Ferramenta por meio de um paradigma de treinamento em etapas. Primeiro, introduzimos um Pipeline de Escalonamento de Trajetórias Intercaladas de GUI-Ferramenta que reaproveita abundantes trajetórias estáticas de GUI e sintetiza uma biblioteca de ferramentas fundamentada, possibilitando trajetórias diversas de GUI-Ferramenta sem engenharia manual ou coleta de trajetórias reais de ferramentas. Em seguida, realizamos Tool-Bootstrapped GUI RFT, combinando SFT de aquecimento com RL de turno único para melhorar as decisões em pontos críticos de alternância entre GUI e ferramentas. Finalmente, otimizamos o ToolCUA com RL Agêntica Online em um ambiente de GUI-Ferramenta de alta fidelidade, guiado por uma Recompensa de Caminho com Eficiência de Ferramenta que incentiva o uso adequado de ferramentas e caminhos de execução mais curtos. Experimentos no OSWorld-MCP mostram que ToolCUA atinge 46,85% de acurácia, uma melhoria relativa de aproximadamente 66% em relação à linha de base, estabelecendo um novo estado da arte entre modelos de escala comparável. Ele também melhora em 3,9% em relação às configurações apenas com GUI, demonstrando orquestração eficaz de GUI e ferramentas. Os resultados sugerem ainda que o treinamento em um espaço de ação híbrido é um paradigma promissor para agentes digitais do mundo real. Código aberto disponível em: https://x-plug.github.io/ToolCUA/

English

Computer Use Agents (CUAs) can act through both atomic GUI actions, such as click and type, and high-level tool calls, such as API-based file operations, but this hybrid action space often leaves them uncertain about when to continue with GUI actions or switch to tools, leading to suboptimal execution paths. This difficulty stems from the scarcity of high-quality interleaved GUI-Tool trajectories, the cost and brittleness of collecting real tool trajectories, and the lack of trajectory-level supervision for GUI-Tool path selection. In this paper, we propose ToolCUA, an end-to-end agent designed to learn optimal GUI-Tool path selection through a staged training paradigm. We first introduce an Interleaved GUI-Tool Trajectory Scaling Pipeline that repurposes abundant static GUI trajectories and synthesizes a grounded tool library, enabling diverse GUI-Tool trajectories without manual engineering or real tool-trajectory collection. We then perform Tool-Bootstrapped GUI RFT, combining warmup SFT with single-turn RL to improve decisions at critical GUI-Tool switching points. Finally, we optimize ToolCUA with Online Agentic RL in a high-fidelity GUI-Tool environment, guided by a Tool-Efficient Path Reward that encourages appropriate tool use and shorter execution paths. Experiments on OSWorld-MCP show that ToolCUA achieves 46.85% accuracy, a relative improvement of approximately 66% over the baseline, establishing a new state of the art among models of comparable scale. It also improves by 3.9% over GUI-only settings, demonstrating effective GUI-Tool orchestration. The results further suggest that training in a hybrid action space is a promising paradigm for real-world digital agents. Open-sourced here: https://x-plug.github.io/ToolCUA/