API-агенты против GUI-агентов: Расхождение и Сближение
API Agents vs. GUI Agents: Divergence and Convergence
March 14, 2025
Авторы: Chaoyun Zhang, Shilin He, Liqun Li, Si Qin, Yu Kang, Qingwei Lin, Dongmei Zhang
cs.AI
Аннотация
Крупные языковые модели (LLM) вышли за рамки простой генерации текста и теперь используются для создания программных агентов, которые напрямую преобразуют команды на естественном языке в конкретные действия. Хотя API-ориентированные LLM-агенты изначально получили известность благодаря своей мощной автоматизации и бесшовной интеграции с программными интерфейсами, недавние достижения в области мультимодальных LLM позволили создать GUI-ориентированных LLM-агентов, которые взаимодействуют с графическими пользовательскими интерфейсами подобно человеку. Хотя обе парадигмы преследуют цель автоматизации задач с использованием LLM, они существенно различаются по архитектурной сложности, процессам разработки и моделям взаимодействия с пользователем.
В данной статье представлено первое всестороннее сравнительное исследование API- и GUI-ориентированных LLM-агентов, в котором систематически анализируются их различия и потенциальная конвергенция. Мы рассматриваем ключевые аспекты и выделяем сценарии, в которых гибридные подходы могут использовать их взаимодополняющие преимущества. Предлагая четкие критерии выбора и иллюстрируя практические примеры использования, мы стремимся помочь практикам и исследователям в выборе, комбинировании или переходе между этими парадигмами. В конечном итоге мы указываем, что продолжающиеся инновации в области автоматизации на основе LLM стирают границы между API- и GUI-ориентированными агентами, открывая путь к более гибким и адаптивным решениям в широком спектре реальных приложений.
English
Large language models (LLMs) have evolved beyond simple text generation to
power software agents that directly translate natural language commands into
tangible actions. While API-based LLM agents initially rose to prominence for
their robust automation capabilities and seamless integration with programmatic
endpoints, recent progress in multimodal LLM research has enabled GUI-based LLM
agents that interact with graphical user interfaces in a human-like manner.
Although these two paradigms share the goal of enabling LLM-driven task
automation, they diverge significantly in architectural complexity, development
workflows, and user interaction models.
This paper presents the first comprehensive comparative study of API-based
and GUI-based LLM agents, systematically analyzing their divergence and
potential convergence. We examine key dimensions and highlight scenarios in
which hybrid approaches can harness their complementary strengths. By proposing
clear decision criteria and illustrating practical use cases, we aim to guide
practitioners and researchers in selecting, combining, or transitioning between
these paradigms. Ultimately, we indicate that continuing innovations in
LLM-based automation are poised to blur the lines between API- and GUI-driven
agents, paving the way for more flexible, adaptive solutions in a wide range of
real-world applications.