GPT-4V(ision) è un agente web generalista, se ancorato correttamente.

GPT-4V(ision) is a Generalist Web Agent, if Grounded

January 3, 2024

Autori: Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, Yu Su

cs.AI

Abstract

I recenti sviluppi sui modelli multimodali di grandi dimensioni (LMM), in particolare GPT-4V(ision) e Gemini, hanno rapidamente ampliato i confini delle capacità dei modelli multimodali oltre i compiti tradizionali come la descrizione delle immagini e la risposta a domande visive. In questo lavoro, esploriamo il potenziale di LMM come GPT-4V come agenti web generalisti in grado di seguire istruzioni in linguaggio naturale per completare attività su qualsiasi sito web dato. Proponiamo SEEACT, un agente web generalista che sfrutta la potenza degli LMM per una comprensione visiva integrata e per agire sul web. Valutiamo il recente benchmark MIND2WEB. Oltre alla valutazione offline standard su siti web memorizzati nella cache, abilitiamo una nuova impostazione di valutazione online sviluppando uno strumento che consente di eseguire agenti web su siti web live. Dimostriamo che GPT-4V presenta un grande potenziale per gli agenti web: può completare con successo il 50% delle attività su siti web live se si ancorano manualmente i suoi piani testuali alle azioni sui siti web. Ciò supera sostanzialmente i modelli LLM basati solo su testo come GPT-4 o modelli più piccoli (FLAN-T5 e BLIP-2) specificamente ottimizzati per agenti web. Tuttavia, l'ancoraggio rimane una sfida significativa. Le strategie di ancoraggio esistenti per LMM, come il prompting a set di marcatori, si rivelano inefficaci per gli agenti web, e la migliore strategia di ancoraggio che sviluppiamo in questo articolo sfrutta sia il testo HTML che gli elementi visivi. Tuttavia, c'è ancora un divario sostanziale rispetto all'ancoraggio oracolare, lasciando ampio spazio per ulteriori miglioramenti.

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.