GUI vs. CLI: Cuellos de botella de ejecución en agentes de uso de computadora basados solo en pantalla y mediados por habilidades

Resumen

Los agentes de uso de computadora pueden ejecutar tareas de software a través de interfaces gráficas o interfaces de comandos programáticas, pero las evaluaciones existentes confunden la modalidad de interacción con diferencias en las tareas, estados iniciales, verificadores y acciones permitidas. Introducimos un benchmark de capa de ejecución emparejado de 440 tareas de escritorio en 18 aplicaciones y 12 categorías de flujo de trabajo, donde los agentes GUI exclusivos de pantalla y los agentes CLI mediados por habilidades reciben metas, estados y verificadores de estado final idénticos, mientras están restringidos a acciones nativas de su modalidad. En este entorno controlado, el agente GUI más fuerte alcanza una tasa de aprobación completa del 59.1%, superando al agente CLI con habilidades originales más fuerte del 48.2%; sin embargo, el aumento de habilidades guiado por verificador eleva el éxito de CLI al 69.3%, lo que muestra que gran parte del déficit de CLI proviene de una cobertura de habilidades incompleta y no solo de la capacidad del modelo. Estos resultados sugieren que GUI y CLI exponen diferentes cuellos de botella de ejecución: los agentes GUI están limitados por la interacción confiable y fundamentada en flujos de trabajo de largo alcance, mientras que los agentes CLI están limitados por la cobertura y escalabilidad de sus interfaces de habilidades.

English

Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.