WebGames：汎用ウェブブラウジングAIエージェントへの挑戦

WebGames: Challenging General-Purpose Web-Browsing AI Agents

February 25, 2025

著者: George Thomas, Alex J. Chan, Jikun Kang, Wenqi Wu, Filippos Christianos, Fraser Greenlee, Andy Toulis, Marvin Purtorab

cs.AI

要旨

私たちは、50以上のインタラクティブな課題を通じて汎用ウェブブラウジングAIエージェントを評価するために設計された包括的なベンチマークスイート「WebGames」を紹介します。これらの課題は、人間にとっては簡単である一方で、現在のAIシステムの限界を体系的にテストするように特別に設計されており、基本的なブラウザ操作、高度な入力処理、認知タスク、ワークフロー自動化、インタラクティブエンターテインメントといった領域を網羅しています。私たちのフレームワークは、密閉されたテスト環境を通じて外部依存を排除し、検証可能な正解を用いた再現性のある評価を保証します。GPT-4o、Claude Computer-Use、Gemini-1.5-Pro、Qwen2-VLといった主要な視覚言語モデルを人間のパフォーマンスと比較して評価しました。結果は、最良のAIシステムでも成功率が43.1%にとどまり、人間の95.7%と比較して大きな能力差があることを示しており、人間にとって直感的な一般的なウェブインタラクションパターンを処理する現在のAIシステムの根本的な限界を浮き彫りにしています。このベンチマークはwebgames.convergence.aiで公開されており、軽量なクライアントサイド実装により迅速な評価サイクルを可能にしています。モジュール型アーキテクチャと標準化された課題仕様を通じて、WebGamesはより高度なウェブブラウジングエージェントの開発における進歩を測定するための堅牢な基盤を提供します。

English

We introduce WebGames, a comprehensive benchmark suite designed to evaluate general-purpose web-browsing AI agents through a collection of 50+ interactive challenges. These challenges are specifically crafted to be straightforward for humans while systematically testing the limitations of current AI systems across fundamental browser interactions, advanced input processing, cognitive tasks, workflow automation, and interactive entertainment. Our framework eliminates external dependencies through a hermetic testing environment, ensuring reproducible evaluation with verifiable ground-truth solutions. We evaluate leading vision-language models including GPT-4o, Claude Computer-Use, Gemini-1.5-Pro, and Qwen2-VL against human performance. Results reveal a substantial capability gap, with the best AI system achieving only 43.1% success rate compared to human performance of 95.7%, highlighting fundamental limitations in current AI systems' ability to handle common web interaction patterns that humans find intuitive. The benchmark is publicly available at webgames.convergence.ai, offering a lightweight, client-side implementation that facilitates rapid evaluation cycles. Through its modular architecture and standardized challenge specifications, WebGames provides a robust foundation for measuring progress in development of more capable web-browsing agents.