GPT-4V(ision) ist ein generalistischer Web-Agent, wenn er geerdet ist.

GPT-4V(ision) is a Generalist Web Agent, if Grounded

January 3, 2024

Autoren: Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, Yu Su

cs.AI

Zusammenfassung

Die jüngsten Entwicklungen bei großen multimodalen Modellen (LMMs), insbesondere GPT-4V(ision) und Gemini, erweitern die Fähigkeitsgrenzen multimodaler Modelle schnell über traditionelle Aufgaben wie Bildbeschreibung und visuelle Fragebeantwortung hinaus. In dieser Arbeit untersuchen wir das Potenzial von LMMs wie GPT-4V als allgemeiner Web-Agent, der natürliche Sprachanweisungen befolgen kann, um Aufgaben auf beliebigen Websites zu erledigen. Wir stellen SEEACT vor, einen allgemeinen Web-Agenten, der die Leistungsfähigkeit von LMMs für integriertes visuelles Verständnis und Handeln im Web nutzt. Wir evaluieren auf dem kürzlich veröffentlichten MIND2WEB-Benchmark. Neben der standardmäßigen Offline-Evaluierung auf zwischengespeicherten Websites ermöglichen wir eine neue Online-Evaluierungsumgebung durch die Entwicklung eines Tools, das den Betrieb von Web-Agenten auf live-Websites erlaubt. Wir zeigen, dass GPT-4V ein großes Potenzial für Web-Agenten besitzt – es kann 50 % der Aufgaben auf live-Websites erfolgreich abschließen, wenn wir seine textuellen Pläne manuell in Aktionen auf den Websites verankern. Dies übertrifft textbasierte LLMs wie GPT-4 oder kleinere Modelle (FLAN-T5 und BLIP-2), die speziell für Web-Agenten feinabgestimmt wurden, deutlich. Die Verankerung bleibt jedoch eine große Herausforderung. Bestehende LMM-Verankerungsstrategien wie Set-of-Mark-Prompting erweisen sich für Web-Agenten als unwirksam, und die beste Verankerungsstrategie, die wir in dieser Arbeit entwickeln, nutzt sowohl den HTML-Text als auch die visuellen Elemente. Dennoch besteht eine erhebliche Lücke zur optimalen Verankerung (Oracle Grounding), was viel Raum für weitere Verbesserungen lässt.

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.