WebLINX: Navegação em Websites do Mundo Real com Diálogo Multi-Turn

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

February 8, 2024

Autores: Xing Han Lù, Zdeněk Kasner, Siva Reddy

cs.AI

Resumo

Propomos o problema de navegação web conversacional, onde um agente digital controla um navegador web e segue instruções do usuário para resolver tarefas do mundo real em um diálogo de múltiplos turnos. Para apoiar esse problema, introduzimos o WEBLINX - um benchmark em larga escala com 100 mil interações em 2300 demonstrações especializadas de navegação web conversacional. Nosso benchmark abrange uma ampla gama de padrões em mais de 150 sites reais e pode ser usado para treinar e avaliar agentes em diversos cenários. Devido ao volume de informações presentes, os Modelos de Linguagem de Grande Escala (LLMs) não conseguem processar páginas web inteiras em tempo real. Para resolver esse gargalo, projetamos um modelo inspirado em recuperação de informações que poda eficientemente páginas HTML ao classificar elementos relevantes. Utilizamos os elementos selecionados, juntamente com capturas de tela e histórico de ações, para avaliar uma variedade de modelos quanto à sua capacidade de replicar o comportamento humano ao navegar na web. Nossos experimentos abrangem desde pequenos modelos apenas de texto até LLMs multimodais proprietários. Descobrimos que decodificadores menores e ajustados superam os melhores LLMs de zero-shot (incluindo GPT-4V), mas também modelos multimodais maiores que foram explicitamente pré-treinados em capturas de tela. No entanto, todos os modelos ajustados têm dificuldade em generalizar para sites não vistos. Nossas descobertas destacam a necessidade de grandes modelos multimodais que possam generalizar para novos cenários. Nosso código, dados e modelos estão disponíveis para pesquisa: https://mcgill-nlp.github.io/weblinx

English

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx