WebLINX: Navegación en sitios web del mundo real con diálogo de múltiples turnos

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

February 8, 2024

Autores: Xing Han Lù, Zdeněk Kasner, Siva Reddy

cs.AI

Resumen

Proponemos el problema de la navegación web conversacional, donde un agente digital controla un navegador web y sigue las instrucciones del usuario para resolver tareas del mundo real en un diálogo de múltiples turnos. Para abordar este problema, presentamos WEBLINX, un benchmark a gran escala que incluye 100K interacciones basadas en 2300 demostraciones expertas de navegación web conversacional. Nuestro benchmark abarca una amplia gama de patrones en más de 150 sitios web del mundo real y puede utilizarse para entrenar y evaluar agentes en diversos escenarios. Debido al volumen de información presente, los Modelos de Lenguaje de Gran Escala (LLMs) no pueden procesar páginas web completas en tiempo real. Para resolver este cuello de botella, diseñamos un modelo inspirado en recuperación de información que poda eficientemente las páginas HTML clasificando elementos relevantes. Utilizamos los elementos seleccionados, junto con capturas de pantalla y el historial de acciones, para evaluar una variedad de modelos en su capacidad para replicar el comportamiento humano al navegar por la web. Nuestros experimentos abarcan desde modelos pequeños basados únicamente en texto hasta LLMs multimodales propietarios. Encontramos que los decodificadores más pequeños ajustados superan a los mejores LLMs de cero-shot (incluyendo GPT-4V), pero también a modelos multimodales más grandes que fueron preentrenados explícitamente con capturas de pantalla. Sin embargo, todos los modelos ajustados tienen dificultades para generalizar a sitios web no vistos. Nuestros hallazgos resaltan la necesidad de modelos multimodales grandes que puedan generalizar a entornos novedosos. Nuestro código, datos y modelos están disponibles para investigación: https://mcgill-nlp.github.io/weblinx.

English

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx