OmniParser para Agente de Interfaz Gráfica de Usuario Basado en Visión Pura

OmniParser for Pure Vision Based GUI Agent

August 1, 2024

Autores: Yadong Lu, Jianwei Yang, Yelong Shen, Ahmed Awadallah

cs.AI

Resumen

El reciente éxito de los grandes modelos de lenguaje de visión muestra un gran potencial en impulsar el sistema agente que opera en interfaces de usuario. Sin embargo, sostenemos que el poder de los modelos multimodales como GPT-4V como agente general en múltiples sistemas operativos a través de diferentes aplicaciones está ampliamente subestimado debido a la falta de una técnica robusta de análisis de pantalla capaz de: 1) identificar de manera confiable iconos interactivos dentro de la interfaz de usuario, y 2) comprender la semántica de varios elementos en una captura de pantalla y asociar con precisión la acción prevista con la región correspondiente en la pantalla. Para cubrir estas brechas, presentamos OmniParser, un método integral para analizar capturas de pantalla de interfaces de usuario en elementos estructurados, lo que mejora significativamente la capacidad de GPT-4V para generar acciones que pueden estar precisamente fundamentadas en las regiones correspondientes de la interfaz. En primer lugar, creamos un conjunto de datos de detección de iconos interactivos utilizando páginas web populares y un conjunto de datos de descripción de iconos. Estos conjuntos de datos se utilizaron para ajustar modelos especializados: un modelo de detección para analizar regiones interactivas en la pantalla y un modelo de subtítulos para extraer la semántica funcional de los elementos detectados. OmniParser mejora significativamente el rendimiento de GPT-4V en el benchmark ScreenSpot. Y en los benchmarks Mind2Web y AITW, OmniParser con solo entrada de captura de pantalla supera a los baselines de GPT-4V que requieren información adicional fuera de la captura de pantalla.

English

The recent success of large vision language models shows great potential in driving the agent system operating on user interfaces. However, we argue that the power multimodal models like GPT-4V as a general agent on multiple operating systems across different applications is largely underestimated due to the lack of a robust screen parsing technique capable of: 1) reliably identifying interactable icons within the user interface, and 2) understanding the semantics of various elements in a screenshot and accurately associate the intended action with the corresponding region on the screen. To fill these gaps, we introduce OmniParser, a comprehensive method for parsing user interface screenshots into structured elements, which significantly enhances the ability of GPT-4V to generate actions that can be accurately grounded in the corresponding regions of the interface. We first curated an interactable icon detection dataset using popular webpages and an icon description dataset. These datasets were utilized to fine-tune specialized models: a detection model to parse interactable regions on the screen and a caption model to extract the functional semantics of the detected elements. OmniParser significantly improves GPT-4V's performance on ScreenSpot benchmark. And on Mind2Web and AITW benchmark, OmniParser with screenshot only input outperforms the GPT-4V baselines requiring additional information outside of screenshot.