Vers une Formation à l'Échelle Internet pour les Agents

Towards Internet-Scale Training For Agents

February 10, 2025

Auteurs: Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov

cs.AI

Résumé

L'approche prédominante pour entraîner des agents de navigation web consiste à rassembler des démonstrations humaines pour un ensemble de sites web populaires et des tâches écrites à la main, mais il devient évident que les données humaines sont une ressource inefficace. Nous développons un pipeline pour faciliter l'entraînement à l'échelle d'Internet pour les agents sans annotations humaines laborieuses. Dans la première étape, un LLM génère des tâches pour 150 000 sites web divers. Dans l'étape suivante, les agents LLM complètent les tâches et produisent des trajectoires. Dans la dernière étape, un LLM examine les trajectoires et juge leur succès. Les modèles de langage sont compétitifs avec les annotateurs humains, détectant et filtrant le contenu nocif avec une précision de 97 %, générant des tâches réalisables avec un taux de 89 %, et jugeant les trajectoires réussies avec une précision de 82,6 %. En mettant à l'échelle le pipeline, les agents basés sur Llama 3.1 70B résolvent 16,7 % des tâches pour 150 000 sites. L'entraînement sur les données générées par notre pipeline est compétitif avec l'entraînement sur les démonstrations humaines. Dans des environnements limités en données dérivées de Mind2Web et WebLINX, nous améliorons la Précision des Étapes jusqu'à +89,5 % et +122,1 % respectivement pour les agents entraînés sur des mélanges de données de notre pipeline et de données humaines. Lors de l'entraînement des agents avec toutes les données humaines disponibles de ces références, les agents échouent à se généraliser à des sites réels divers, et l'ajout de nos données améliore leur généralisation de +149,0 % pour WebLINX et +156,3 % pour Mind2Web. Le code sera disponible sur : data-for-agents.github.io.

English

The predominant approach for training web navigation agents gathers human demonstrations for a set of popular websites and hand-written tasks, but it is becoming clear that human data are an inefficient resource. We develop a pipeline to facilitate Internet-scale training for agents without laborious human annotations. In the first stage, an LLM generates tasks for 150k diverse websites. In the next stage, LLM agents complete tasks and produce trajectories. In the final stage, an LLM reviews the trajectories and judges their success. Language models are competitive with human annotators, detecting and filtering out harmful content with an accuracy of 97%, generating feasible tasks with an 89% rate, and judging successful trajectories with an 82.6% accuracy. Scaling the pipeline, agents based on Llama 3.1 70B solve 16.7% of tasks for 150k sites. Training on the data generated by our pipeline is competitive with training on human demonstrations. In data-limited settings derived from Mind2Web and WebLINX, we improve Step Accuracy by up to +89.5% and +122.1% respectively for agents trained on mixtures of data from our pipeline, and human data. When training agents with all available human data from these benchmarks, agents fail to generalize to diverse real sites, and adding our data improves their generalization by +149.0% for WebLINX and +156.3% for Mind2Web. Code will be available at: data-for-agents.github.io.