GUI против CLI: узкие места выполнения в агентах использования компьютера на основе только экрана и опосредованных навыками

Аннотация

Агенты, управляющие компьютером, могут выполнять программные задачи как через графические интерфейсы, так и через программные командные интерфейсы, однако существующие оценки смешивают модальность взаимодействия с различиями в задачах, начальных состояниях, верификаторах и разрешенных действиях. Мы представляем согласованный бенчмарк уровня исполнения, включающий 440 настольных задач в 18 приложениях и 12 категориях рабочих процессов, где агенты с экранным графическим интерфейсом (GUI) и агенты с интерфейсом командной строки (CLI), основанным на навыках, получают идентичные цели, состояния и финальные верификаторы, будучи ограниченными действиями, свойственными их модальности. В этих контролируемых условиях сильнейший GUI-агент достигает 59,1% полного прохождения, превосходя сильнейшего исходного CLI-агента с показателем 48,2%; однако дополнение навыков с помощью верификаторов повышает успешность CLI до 69,3%, что показывает, что большая часть отставания CLI обусловлена неполным покрытием навыков, а не только возможностями модели. Эти результаты свидетельствуют о том, что GUI и CLI выявляют различные узкие места исполнения: GUI-агенты ограничены надежным обоснованным взаимодействием в рабочих процессах с длинным горизонтом, тогда как CLI-агенты ограничены покрытием и масштабируемостью их интерфейсов навыков.

English

Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.