GPT-4V(ision)は、グラウンディングが行われた場合、汎用ウェブエージェントとして機能する。

GPT-4V(ision) is a Generalist Web Agent, if Grounded

January 3, 2024

著者: Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, Yu Su

cs.AI

要旨

大規模マルチモーダルモデル（LMMs）、特にGPT-4V(ision)とGeminiの最近の進展により、マルチモーダルモデルの能力は、画像キャプション生成や視覚的質問応答といった従来のタスクを超えて急速に拡大しています。本研究では、GPT-4VのようなLMMsを、自然言語の指示に従って任意のウェブサイト上でタスクを完了する汎用ウェブエージェントとしての可能性を探ります。私たちは、LMMsの力を活用してウェブ上の視覚的理解と行動を統合した汎用ウェブエージェント「SEEACT」を提案します。これを最近のMIND2WEBベンチマークで評価します。キャッシュされたウェブサイトでの標準的なオフライン評価に加えて、ライブウェブサイト上でウェブエージェントを実行できるツールを開発し、新しいオンライン評価設定を可能にします。GPT-4Vはウェブエージェントとして大きな可能性を示しており、そのテキストベースの計画を手動でウェブサイト上のアクションに基づかせた場合、ライブウェブサイト上で50%のタスクを成功裏に完了できます。これは、GPT-4のようなテキストのみのLLMや、ウェブエージェント向けに特別にファインチューニングされた小規模モデル（FLAN-T5やBLIP-2）を大幅に上回ります。しかし、基盤付け（grounding）は依然として主要な課題です。既存のLMM基盤付け戦略（例：set-of-markプロンプティング）はウェブエージェントには効果的ではなく、本論文で開発した最良の基盤付け戦略はHTMLテキストと視覚情報の両方を活用します。それでも、オラクル基盤付けとの間には依然として大きなギャップがあり、さらなる改善の余地が十分に残されています。

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.