WebLINX: Navigazione di Siti Web nel Mondo Reale con Dialoghi Multi-Turn

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

February 8, 2024

Autori: Xing Han Lù, Zdeněk Kasner, Siva Reddy

cs.AI

Abstract

Proponiamo il problema della navigazione web conversazionale, in cui un agente digitale controlla un browser web e segue le istruzioni dell'utente per risolvere compiti del mondo reale in un dialogo a più turni. Per supportare questo problema, introduciamo WEBLINX, un benchmark su larga scala di 100K interazioni basate su 2300 dimostrazioni esperte di navigazione web conversazionale. Il nostro benchmark copre un'ampia gamma di pattern su oltre 150 siti web reali e può essere utilizzato per addestrare e valutare agenti in scenari diversificati. A causa della mole di informazioni presenti, i Large Language Models (LLM) non possono elaborare intere pagine web in tempo reale. Per risolvere questo collo di bottiglia, progettiamo un modello ispirato al retrieval che seleziona efficientemente gli elementi rilevanti delle pagine HTML. Utilizziamo gli elementi selezionati, insieme a screenshot e cronologia delle azioni, per valutare una varietà di modelli sulla loro capacità di replicare il comportamento umano durante la navigazione web. I nostri esperimenti spaziano da piccoli modelli testuali a LLM multimodali proprietari. Scopriamo che decoder più piccoli e finetunati superano i migliori LLM zero-shot (incluso GPT-4V), ma anche modelli multimodali più grandi e finetunati che sono stati esplicitamente preaddestrati su screenshot. Tuttavia, tutti i modelli finetunati faticano a generalizzare su siti web non visti. I nostri risultati evidenziano la necessità di grandi modelli multimodali in grado di generalizzare a contesti nuovi. Il nostro codice, dati e modelli sono disponibili per la ricerca: https://mcgill-nlp.github.io/weblinx

English

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx