WebLINX: Real-World Website Navigatie met Multi-Turn Dialoog

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

February 8, 2024

Auteurs: Xing Han Lù, Zdeněk Kasner, Siva Reddy

cs.AI

Samenvatting

We stellen het probleem van conversatiegestuurde webnavigatie voor, waarbij een digitaal agent een webbrowser bestuurt en gebruikersinstructies volgt om real-world taken op te lossen in een multi-turn dialoogstijl. Om dit probleem te ondersteunen, introduceren we WEBLINX - een grootschalige benchmark van 100K interacties over 2300 expertdemonstraties van conversatiegestuurde webnavigatie. Onze benchmark bestrijkt een breed scala aan patronen op meer dan 150 real-world websites en kan worden gebruikt om agents te trainen en te evalueren in diverse scenario's. Vanwege de omvang van de aanwezige informatie kunnen Large Language Models (LLMs) niet in real-time volledige webpagina's verwerken. Om dit knelpunt op te lossen, ontwerpen we een op retrieval geïnspireerd model dat HTML-pagina's efficiënt uitdunt door relevante elementen te rangschikken. We gebruiken de geselecteerde elementen, samen met schermafbeeldingen en actiegeschiedenis, om een verscheidenheid aan modellen te beoordelen op hun vermogen om menselijk gedrag na te bootsen bij het navigeren op het web. Onze experimenten variëren van kleine tekst-only modellen tot propriëtaire multimodale LLMs. We ontdekken dat kleinere gefinetunede decoders de beste zero-shot LLMs (inclusief GPT-4V) overtreffen, maar ook grotere gefinetunede multimodale modellen die expliciet zijn voorgetraind op schermafbeeldingen. Echter, alle gefinetunede modellen hebben moeite om te generaliseren naar onbekende websites. Onze bevindingen benadrukken de noodzaak voor grote multimodale modellen die kunnen generaliseren naar nieuwe omgevingen. Onze code, data en modellen zijn beschikbaar voor onderzoek: https://mcgill-nlp.github.io/weblinx

English

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx