GUI vs. CLI: Gargalos de Execução em Agentes de Uso de Computador Apenas por Tela e Mediados por Habilidades

Resumo

Agentes de uso de computador podem executar tarefas de software por meio de interfaces gráficas ou de interfaces de comando programáticas, mas as avaliações existentes confundem a modalidade de interação com diferenças nas tarefas, estados iniciais, verificadores e ações permitidas. Apresentamos um benchmark de camada de execução combinado com 440 tarefas de desktop em 18 aplicativos e 12 categorias de fluxo de trabalho, onde agentes GUI apenas por tela e agentes CLI mediados por habilidades recebem metas, estados e verificadores de estado final idênticos, enquanto são restritos a ações nativas da modalidade. Nesse ambiente controlado, o agente GUI mais forte atinge uma taxa de aprovação total de 59,1%, superando o agente CLI original mais forte, com 48,2%; no entanto, o aumento de habilidades guiado por verificador eleva o sucesso do CLI para 69,3%, mostrando que grande parte do déficit do CLI decorre de cobertura incompleta de habilidades, e não apenas da capacidade do modelo. Esses resultados sugerem que GUI e CLI expõem diferentes gargalos de execução: os agentes GUI são limitados pela interação fundamentada confiável em fluxos de trabalho de longo horizonte, enquanto os agentes CLI são limitados pela cobertura e escalabilidade de suas interfaces de habilidades.

English

Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.