GPT-4V(ision) является универсальным веб-агентом, если он заземлен.

GPT-4V(ision) is a Generalist Web Agent, if Grounded

January 3, 2024

Авторы: Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, Yu Su

cs.AI

Аннотация

Недавние разработки в области крупных мультимодальных моделей (LMMs), в частности GPT-4V(ision) и Gemini, значительно расширили границы возможностей мультимодальных моделей за пределы традиционных задач, таких как создание подписей к изображениям и визуальный вопросно-ответный анализ. В данной работе мы исследуем потенциал LMMs, таких как GPT-4V, в качестве универсального веб-агента, способного следовать инструкциям на естественном языке для выполнения задач на любом заданном веб-сайте. Мы предлагаем SEEACT — универсальный веб-агент, который использует возможности LMMs для интегрированного визуального понимания и взаимодействия в веб-среде. Оценка проводится на основе недавнего бенчмарка MIND2WEB. В дополнение к стандартной оффлайн-оценке на кэшированных веб-сайтах мы внедряем новую онлайн-оценку, разработав инструмент, позволяющий запускать веб-агентов на живых веб-сайтах. Мы показываем, что GPT-4V демонстрирует значительный потенциал для веб-агентов — он успешно выполняет 50% задач на живых веб-сайтах, если вручную привязывать его текстовые планы к действиям на сайтах. Это существенно превосходит текстовые LLMs, такие как GPT-4, или меньшие модели (FLAN-T5 и BLIP-2), специально доработанные для веб-агентов. Однако привязка остается серьезной проблемой. Существующие стратегии привязки LMM, такие как set-of-mark prompting, оказываются неэффективными для веб-агентов, и лучшая стратегия привязки, разработанная в этой работе, использует как HTML-текст, так и визуальные элементы. Тем не менее, сохраняется значительный разрыв с эталонной привязкой, что оставляет широкие возможности для дальнейшего улучшения.

English

The recent development on large multimodal models (LMMs), especially GPT-4V(ision) and Gemini, has been quickly expanding the capability boundaries of multimodal models beyond traditional tasks like image captioning and visual question answering. In this work, we explore the potential of LMMs like GPT-4V as a generalist web agent that can follow natural language instructions to complete tasks on any given website. We propose SEEACT, a generalist web agent that harnesses the power of LMMs for integrated visual understanding and acting on the web. We evaluate on the recent MIND2WEB benchmark. In addition to standard offline evaluation on cached websites, we enable a new online evaluation setting by developing a tool that allows running web agents on live websites. We show that GPT-4V presents a great potential for web agents - it can successfully complete 50% of the tasks on live websites if we manually ground its textual plans into actions on the websites. This substantially outperforms text-only LLMs like GPT-4 or smaller models (FLAN-T5 and BLIP-2) specifically fine-tuned for web agents. However, grounding still remains a major challenge. Existing LMM grounding strategies like set-of-mark prompting turns out not effective for web agents, and the best grounding strategy we develop in this paper leverages both the HTML text and visuals. Yet, there is still a substantial gap with oracle grounding, leaving ample room for further improvement.