WebLINX: マルチターン対話を用いた実世界のウェブサイトナビゲーション
WebLINX: Real-World Website Navigation with Multi-Turn Dialogue
February 8, 2024
著者: Xing Han Lù, Zdeněk Kasner, Siva Reddy
cs.AI
要旨
我々は、デジタルエージェントがウェブブラウザを操作し、ユーザーの指示に従って現実世界のタスクをマルチターン対話形式で解決する「会話型ウェブナビゲーション」の問題を提案する。この問題を支援するため、我々はWEBLINXを導入する。これは、2300件の専門家による会話型ウェブナビゲーションのデモンストレーションに基づく10万件のインタラクションを網羅する大規模なベンチマークである。本ベンチマークは、150以上の現実世界のウェブサイトにおける多様なパターンをカバーし、様々なシナリオでのエージェントの訓練と評価に利用できる。情報量の膨大さから、大規模言語モデル（LLM）はリアルタイムでウェブページ全体を処理できない。このボトルネックを解決するため、我々はHTMLページを効率的に剪定する検索型モデルを設計し、関連要素をランク付けする。選択された要素、スクリーンショット、およびアクション履歴を用いて、ウェブナビゲーションにおける人間の行動を再現する能力を持つ様々なモデルを評価する。実験は、小規模なテキスト専用モデルから、プロプライエタリなマルチモーダルLLMまでを対象とする。その結果、微調整された小規模デコーダが、最高のゼロショットLLM（GPT-4Vを含む）を上回るだけでなく、スクリーンショットを明示的に事前学習した大規模なマルチモーダルモデルも上回ることがわかった。しかし、すべての微調整モデルは、未見のウェブサイトへの汎化に苦戦する。我々の知見は、新たな設定に汎化できる大規模マルチモーダルモデルの必要性を強調する。我々のコード、データ、およびモデルは研究目的で公開されている：https://mcgill-nlp.github.io/weblinx
English
We propose the problem of conversational web navigation, where a digital
agent controls a web browser and follows user instructions to solve real-world
tasks in a multi-turn dialogue fashion. To support this problem, we introduce
WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert
demonstrations of conversational web navigation. Our benchmark covers a broad
range of patterns on over 150 real-world websites and can be used to train and
evaluate agents in diverse scenarios. Due to the magnitude of information
present, Large Language Models (LLMs) cannot process entire web pages in
real-time. To solve this bottleneck, we design a retrieval-inspired model that
efficiently prunes HTML pages by ranking relevant elements. We use the selected
elements, along with screenshots and action history, to assess a variety of
models for their ability to replicate human behavior when navigating the web.
Our experiments span from small text-only to proprietary multimodal LLMs. We
find that smaller finetuned decoders surpass the best zero-shot LLMs (including
GPT-4V), but also larger finetuned multimodal models which were explicitly
pretrained on screenshots. However, all finetuned models struggle to generalize
to unseen websites. Our findings highlight the need for large multimodal models
that can generalize to novel settings. Our code, data and models are available
for research: https://mcgill-nlp.github.io/weblinx