WebLINX: Навигация по реальным веб-сайтам с многошаговым диалогом

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

February 8, 2024

Авторы: Xing Han Lù, Zdeněk Kasner, Siva Reddy

cs.AI

Аннотация

Мы предлагаем задачу разговорной навигации в вебе, где цифровой агент управляет веб-браузером и выполняет инструкции пользователя для решения реальных задач в формате многоходового диалога. Для поддержки этой задачи мы представляем WEBLINX — крупномасштабный бенчмарк, включающий 100 тысяч взаимодействий на основе 2300 экспертных демонстраций разговорной навигации в вебе. Наш бенчмарк охватывает широкий спектр сценариев на более чем 150 реальных веб-сайтах и может использоваться для обучения и оценки агентов в разнообразных условиях. Из-за огромного объема информации, представленной на веб-страницах, крупные языковые модели (LLM) не могут обрабатывать их целиком в реальном времени. Для решения этой проблемы мы разработали модель, вдохновленную методами поиска, которая эффективно сокращает HTML-страницы, ранжируя релевантные элементы. Мы используем выбранные элементы вместе со скриншотами и историей действий для оценки различных моделей на их способность воспроизводить поведение человека при навигации в вебе. Наши эксперименты охватывают как небольшие текстовые модели, так и проприетарные мультимодальные LLM. Мы обнаруживаем, что небольшие дообученные декодеры превосходят лучшие LLM с нулевым обучением (включая GPT-4V), а также более крупные мультимодальные модели, явно предобученные на скриншотах. Однако все дообученные модели испытывают трудности с обобщением на незнакомые веб-сайты. Наши результаты подчеркивают необходимость создания крупных мультимодальных моделей, способных обобщать знания в новых условиях. Наш код, данные и модели доступны для исследований: https://mcgill-nlp.github.io/weblinx.

English

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx