GPT-4V(ision)는 기반이 확립된 경우 범용 웹 에이전트이다.

초록

최근 대형 멀티모달 모델(LMMs), 특히 GPT-4V(ision)와 Gemini의 발전은 멀티모달 모델의 능력 범위를 이미지 캡셔닝 및 시각적 질문 응답과 같은 전통적인 작업을 넘어 빠르게 확장하고 있다. 본 연구에서는 GPT-4V와 같은 LMMs가 자연어 지시를 따라 주어진 웹사이트에서 작업을 완료할 수 있는 일반적인 웹 에이전트로서의 잠재력을 탐구한다. 우리는 SEEACT를 제안하는데, 이는 웹에서 통합된 시각적 이해와 행동을 위해 LMMs의 힘을 활용하는 일반적인 웹 에이전트이다. 우리는 최근의 MIND2WEB 벤치마크를 통해 평가를 진행한다. 캐시된 웹사이트에 대한 표준 오프라인 평가 외에도, 우리는 라이브 웹사이트에서 웹 에이전트를 실행할 수 있는 도구를 개발하여 새로운 온라인 평가 설정을 가능하게 한다. 우리는 GPT-4V가 웹 에이전트로서 큰 잠재력을 가지고 있음을 보여준다. 즉, 웹사이트에서의 행동으로 텍스트 계획을 수동으로 기반화하면 GPT-4V는 라이브 웹사이트에서 50%의 작업을 성공적으로 완료할 수 있다. 이는 GPT-4와 같은 텍스트 전용 LLMs나 웹 에이전트를 위해 특별히 미세 조정된 더 작은 모델들(FLAN-T5 및 BLIP-2)을 크게 능가한다. 그러나 기반화는 여전히 주요한 과제로 남아 있다. 세트-오브-마크 프롬프팅과 같은 기존의 LMM 기반화 전략은 웹 에이전트에게 효과적이지 않으며, 본 논문에서 개발한 최고의 기반화 전략은 HTML 텍스트와 시각적 요소를 모두 활용한다. 그럼에도 불구하고, 오라클 기반화와는 상당한 격차가 남아 있어 추가 개선을 위한 충분한 여지가 있다.

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.

GPT-4V(ision)는 기반이 확립된 경우 범용 웹 에이전트이다.

GPT-4V(ision) is a Generalist Web Agent, if Grounded

초록

Support