WebLINX : Navigation sur des sites web réels avec dialogue multi-tours

Résumé

Nous proposons le problème de la navigation web conversationnelle, dans lequel un agent numérique contrôle un navigateur web et suit les instructions de l'utilisateur pour résoudre des tâches du monde réel dans un dialogue multi-tours. Pour soutenir ce problème, nous introduisons WEBLINX - un benchmark à grande échelle de 100 000 interactions issues de 2 300 démonstrations expertes de navigation web conversationnelle. Notre benchmark couvre un large éventail de modèles sur plus de 150 sites web réels et peut être utilisé pour entraîner et évaluer des agents dans divers scénarios. En raison de la quantité d'informations présentes, les modèles de langage de grande taille (LLMs) ne peuvent pas traiter des pages web entières en temps réel. Pour résoudre ce goulot d'étranglement, nous concevons un modèle inspiré de la récupération d'information qui élimine efficacement les pages HTML en classant les éléments pertinents. Nous utilisons les éléments sélectionnés, ainsi que des captures d'écran et l'historique des actions, pour évaluer une variété de modèles quant à leur capacité à reproduire le comportement humain lors de la navigation sur le web. Nos expériences vont des petits modèles textuels aux LLMs multimodaux propriétaires. Nous constatons que les petits décodeurs affinés surpassent les meilleurs LLMs en zero-shot (y compris GPT-4V), mais aussi les modèles multimodaux affinés de plus grande taille qui ont été explicitement pré-entraînés sur des captures d'écran. Cependant, tous les modèles affinés peinent à généraliser à des sites web non vus. Nos résultats mettent en évidence la nécessité de grands modèles multimodaux capables de généraliser à de nouveaux contextes. Notre code, données et modèles sont disponibles pour la recherche : https://mcgill-nlp.github.io/weblinx

English

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx

WebLINX : Navigation sur des sites web réels avec dialogue multi-tours

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

Résumé

Support