GPT-4V(ision) est un agent web généraliste, s'il est ancré

GPT-4V(ision) is a Generalist Web Agent, if Grounded

January 3, 2024

Auteurs: Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, Yu Su

cs.AI

Résumé

Le développement récent des grands modèles multimodaux (LMMs), en particulier GPT-4V(ision) et Gemini, a rapidement repoussé les limites des capacités des modèles multimodaux au-delà des tâches traditionnelles telles que la génération de légendes d'images et la réponse à des questions visuelles. Dans ce travail, nous explorons le potentiel des LMMs comme GPT-4V en tant qu'agent web généraliste capable de suivre des instructions en langage naturel pour accomplir des tâches sur n'importe quel site web donné. Nous proposons SEEACT, un agent web généraliste qui exploite la puissance des LMMs pour une compréhension visuelle intégrée et une interaction sur le web. Nous évaluons notre approche sur le récent benchmark MIND2WEB. En plus de l'évaluation standard hors ligne sur des sites web mis en cache, nous introduisons un nouveau cadre d'évaluation en ligne en développant un outil permettant d'exécuter des agents web sur des sites web en direct. Nous montrons que GPT-4V présente un grand potentiel pour les agents web - il peut accomplir avec succès 50 % des tâches sur des sites web en direct si nous ancrons manuellement ses plans textuels en actions sur les sites web. Cela surpasse largement les modèles de langage uniquement textuels comme GPT-4 ou des modèles plus petits (FLAN-T5 et BLIP-2) spécifiquement affinés pour les agents web. Cependant, l'ancrage reste un défi majeur. Les stratégies d'ancrage existantes pour les LMMs, comme le *set-of-mark prompting*, s'avèrent inefficaces pour les agents web, et la meilleure stratégie d'ancrage que nous développons dans cet article exploite à la fois le texte HTML et les éléments visuels. Pourtant, il subsiste un écart important par rapport à un ancrage idéal, laissant une ample marge d'amélioration.

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.