O GPT-4V(ision) é um Agente Web Generalista, se Fundamentado

GPT-4V(ision) is a Generalist Web Agent, if Grounded

January 3, 2024

Autores: Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, Yu Su

cs.AI

Resumo

O recente desenvolvimento de modelos multimodais de grande escala (LMMs), especialmente o GPT-4V(ision) e o Gemini, tem expandido rapidamente os limites de capacidade dos modelos multimodais além de tarefas tradicionais como geração de legendas para imagens e respostas a perguntas visuais. Neste trabalho, exploramos o potencial de LMMs como o GPT-4V como um agente web generalista que pode seguir instruções em linguagem natural para completar tarefas em qualquer site dado. Propomos o SEEACT, um agente web generalista que aproveita o poder dos LMMs para compreensão visual integrada e ação na web. Avaliamos no recente benchmark MIND2WEB. Além da avaliação offline padrão em sites armazenados em cache, habilitamos um novo cenário de avaliação online desenvolvendo uma ferramenta que permite executar agentes web em sites ao vivo. Mostramos que o GPT-4V apresenta um grande potencial para agentes web - ele pode completar com sucesso 50% das tarefas em sites ao vivo se manualmente fundamentarmos seus planos textuais em ações nos sites. Isso supera substancialmente LLMs baseados apenas em texto, como o GPT-4, ou modelos menores (FLAN-T5 e BLIP-2) especificamente ajustados para agentes web. No entanto, a fundamentação ainda permanece um grande desafio. Estratégias existentes de fundamentação de LMMs, como o prompting de conjunto de marcas, mostram-se ineficazes para agentes web, e a melhor estratégia de fundamentação que desenvolvemos neste artigo aproveita tanto o texto HTML quanto os elementos visuais. Ainda assim, há uma lacuna substancial em relação à fundamentação oráculo, deixando amplo espaço para melhorias futuras.

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.