Naar Internet-schaal Training voor Agenten

Towards Internet-Scale Training For Agents

February 10, 2025

Auteurs: Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov

cs.AI

Samenvatting

De overheersende aanpak voor het trainen van webnavigatie-agents verzamelt menselijke demonstraties voor een reeks populaire websites en handgeschreven taken, maar het wordt steeds duidelijker dat menselijke data een inefficiënte bron zijn. Wij ontwikkelen een pijplijn om internet-schaal training voor agents mogelijk te maken zonder arbeidsintensieve menselijke annotaties. In de eerste fase genereert een LLM taken voor 150k diverse websites. In de volgende fase voltooien LLM-agents taken en produceren ze trajecten. In de laatste fase beoordeelt een LLM de trajecten en beoordeelt hun succes. Taalmodellen zijn concurrerend met menselijke annotators, waarbij ze schadelijke inhoud detecteren en filteren met een nauwkeurigheid van 97%, haalbare taken genereren met een snelheid van 89%, en succesvolle trajecten beoordelen met een nauwkeurigheid van 82,6%. Door de pijplijn op te schalen, lossen agents gebaseerd op Llama 3.1 70B 16,7% van de taken op voor 150k sites. Training op de data gegenereerd door onze pijplijn is concurrerend met training op menselijke demonstraties. In data-beperkte omgevingen afgeleid van Mind2Web en WebLINX, verbeteren we de Stap Nauwkeurigheid met respectievelijk tot +89,5% en +122,1% voor agents getraind op mengsels van data uit onze pijplijn en menselijke data. Wanneer agents getraind worden met alle beschikbare menselijke data van deze benchmarks, falen ze in het generaliseren naar diverse echte sites, en het toevoegen van onze data verbetert hun generalisatie met +149,0% voor WebLINX en +156,3% voor Mind2Web. Code zal beschikbaar zijn op: data-for-agents.github.io.

English

The predominant approach for training web navigation agents gathers human demonstrations for a set of popular websites and hand-written tasks, but it is becoming clear that human data are an inefficient resource. We develop a pipeline to facilitate Internet-scale training for agents without laborious human annotations. In the first stage, an LLM generates tasks for 150k diverse websites. In the next stage, LLM agents complete tasks and produce trajectories. In the final stage, an LLM reviews the trajectories and judges their success. Language models are competitive with human annotators, detecting and filtering out harmful content with an accuracy of 97%, generating feasible tasks with an 89% rate, and judging successful trajectories with an 82.6% accuracy. Scaling the pipeline, agents based on Llama 3.1 70B solve 16.7% of tasks for 150k sites. Training on the data generated by our pipeline is competitive with training on human demonstrations. In data-limited settings derived from Mind2Web and WebLINX, we improve Step Accuracy by up to +89.5% and +122.1% respectively for agents trained on mixtures of data from our pipeline, and human data. When training agents with all available human data from these benchmarks, agents fail to generalize to diverse real sites, and adding our data improves their generalization by +149.0% for WebLINX and +156.3% for Mind2Web. Code will be available at: data-for-agents.github.io.