GUI vs. CLI : Goulots d'étranglement d'exécution dans les agents d'utilisation d'ordinateur uniquement basés sur l'écran et médiés par les compétences

Résumé

Les agents d'utilisation d'ordinateur peuvent exécuter des tâches logicielles via des interfaces graphiques ou des interfaces de commandes programmatiques, mais les évaluations existantes confondent la modalité d'interaction avec les différences de tâches, d'états initiaux, de vérificateurs et d'actions autorisées. Nous introduisons un benchmark apparié au niveau de la couche d'exécution, comprenant 440 tâches de bureau réparties sur 18 applications et 12 catégories de flux de travail, où des agents GUI exclusivement par écran et des agents CLI médiés par des compétences reçoivent des objectifs, des états et des vérificateurs d'état final identiques, tout en étant limités à des actions natives de leur modalité. Dans ce cadre contrôlé, l'agent GUI le plus performant atteint un taux de réussite complet de 59,1 %, surpassant l'agent CLI original le plus performant avec 48,2 % ; cependant, l'augmentation des compétences guidée par vérificateur élève le succès des CLI à 69,3 %, montrant qu'une grande partie du déficit des CLI provient d'une couverture incomplète des compétences plutôt que de la seule capacité du modèle. Ces résultats suggèrent que GUI et CLI exposent différents goulots d'étranglement d'exécution : les agents GUI sont limités par une interaction ancrée fiable dans des flux de travail à long horizon, tandis que les agents CLI sont limités par la couverture et l'évolutivité de leurs interfaces de compétences.

English

Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.