AutoWebGLM: 大規模言語モデルベースのWebナビゲーションエージェントのブートストラップと強化

AutoWebGLM: Bootstrap And Reinforce A Large Language Model-based Web Navigating Agent

April 4, 2024

著者: Hanyu Lai, Xiao Liu, Iat Long Iong, Shuntian Yao, Yuxuan Chen, Pengbo Shen, Hao Yu, Hanchen Zhang, Xiaohan Zhang, Yuxiao Dong, Jie Tang

cs.AI

要旨

大規模言語モデル（LLM）は、ウェブナビゲーションを含む多くのインテリジェントエージェントタスクを推進してきた。しかし、既存のエージェントのほとんどは、現実世界のウェブページでは満足のいく性能を発揮できていない。その理由は主に3つある：(1) ウェブページ上のアクションの多様性、(2) モデルの処理能力を超えるHTMLテキスト、(3) ウェブのオープンドメイン性に起因する意思決定の複雑さである。この課題を踏まえ、我々はChatGLM3-6Bを基盤としたGPT-4を上回る自動ウェブナビゲーションエージェント「AutoWebGLM」を開発した。人間のブラウジングパターンに着想を得て、ウェブページを簡潔に表現するHTML簡略化アルゴリズムを設計し、重要な情報を保持した。カリキュラム学習のためのウェブブラウジングデータを構築するために、人間とAIのハイブリッド手法を採用した。その後、強化学習とリジェクトサンプリングを用いてモデルをブートストラップし、ウェブページの理解、ブラウザ操作、効率的なタスク分解をさらに促進した。テストのために、現実世界のウェブブラウジングタスクに対応するバイリンガルベンチマーク「AutoWebBench」を確立した。AutoWebGLMを多様なウェブナビゲーションベンチマークで評価し、その改善点とともに現実環境に対応するための根本的な課題を明らかにした。関連するコード、モデル、データはhttps://github.com/THUDM/AutoWebGLMで公開予定である。

English

Large language models (LLMs) have fueled many intelligent agent tasks, such as web navigation -- but most existing agents perform far from satisfying in real-world webpages due to three factors: (1) the versatility of actions on webpages, (2) HTML text exceeding model processing capacity, and (3) the complexity of decision-making due to the open-domain nature of web. In light of the challenge, we develop AutoWebGLM, a GPT-4-outperforming automated web navigation agent built upon ChatGLM3-6B. Inspired by human browsing patterns, we design an HTML simplification algorithm to represent webpages, preserving vital information succinctly. We employ a hybrid human-AI method to build web browsing data for curriculum training. Then, we bootstrap the model by reinforcement learning and rejection sampling to further facilitate webpage comprehension, browser operations, and efficient task decomposition by itself. For testing, we establish a bilingual benchmark -- AutoWebBench -- for real-world web browsing tasks. We evaluate AutoWebGLM across diverse web navigation benchmarks, revealing its improvements but also underlying challenges to tackle real environments. Related code, model, and data will be released at https://github.com/THUDM/AutoWebGLM.