WebChallenger : Un agent web généraliste fiable et efficace

Résumé

La navigation web autonome reste difficile pour les agents LLM, et les systèmes généralistes les plus performants reposent sur des modèles de raisonnement propriétaires dont le coût d'inférence est prohibitif pour les tâches répétitives où de tels agents seraient les plus utiles. Nous soutenons que cet écart ne provient pas d'une capacité insuffisante des modèles, mais d'architectures d'agents qui ne parviennent pas à reproduire trois avantages cognitifs humains : l'attention sélective portée aux zones pertinentes de la page, la mémoire persistante de la structure du site web, et la fluidité procédurale dans les schémas d'interaction courants. Nous présentons WebChallenger, un cadre d'agent web qui répond à chaque lacune par la conception architecturale plutôt que par l'échelle du modèle, construit autour de PageMem : une représentation structurée de page construite de manière déterministe à partir du DOM, qui expose chaque page comme une hiérarchie de sections sémantiques avec de courts résumés. Sur ce substrat commun, nous construisons trois mécanismes qui reflètent les trois avantages cognitifs : un pipeline d'observation par « diviser pour régner » qui permet à l'agent de parcourir les résumés de sections et d'extraire des détails uniquement des zones pertinentes pour la tâche ; un système léger d'exploration et de mémoire qui parcourt chaque site web une fois pour construire une carte réutilisable des pages et des comportements des éléments ; et des flux de travail d'actions composées qui regroupent des interactions multi-étapes courantes en une seule action d'agent, en gérant automatiquement les changements d'état partiels. Comme les trois mécanismes opèrent sur PageMem, le cadre se généralise à travers les sites web sans adaptateurs spécifiques. En utilisant des modèles à poids ouverts prêts à l'emploi sans ajustement fin, notre système atteint 56,3 % sur WebArena, 48,7 % sur VisualWebArena, 51,0 % sur Online-Mind2Web et 70,9 % sur WorkArena, approchant les systèmes propriétaires de pointe à une fraction du coût. Notre code est publié sur https://github.com/jayoohwang1/webchallenger.

English

Autonomous web navigation remains challenging for LLM agents, and the strongest generalist systems rely on proprietary reasoning models whose inference cost is prohibitive for the repetitive tasks where such agents would be most useful. We argue this gap stems not from insufficient model capability but from agent architectures that fail to replicate three human cognitive advantages: selective attention to relevant page regions, persistent memory of website structure, and procedural fluency with common interaction patterns. We introduce WebChallenger, a web agent framework that addresses each gap through architecture design rather than model scale, built around PageMem: a structured page representation deterministically constructed from the DOM that exposes each page as a hierarchy of semantic sections with short summaries. On this shared substrate we build three mechanisms that mirror the three cognitive advantages: a divide-and-conquer observation pipeline that lets the agent skim section summaries and extract details only from task-relevant regions; a lightweight exploration and memory system that traverses each website once to build a reusable map of pages and element behaviors; and compound action workflows that collapse common multi-step interactions into single agent actions, handling partial state changes automatically. Because all three operate over PageMem, the framework generalizes across websites without site-specific adapters. Using off-the-shelf open-weight models without fine-tuning, our system achieves 56.3% on WebArena, 48.7% on VisualWebArena, 51.0% on Online-Mind2Web, and 70.9% on WorkArena, approaching frontier proprietary systems at a fraction of the cost. Our code is released at https://github.com/jayoohwang1/webchallenger