Verso l'Addestramento su Internet su Larga Scala per Agenti

Towards Internet-Scale Training For Agents

February 10, 2025

Autori: Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov

cs.AI

Abstract

L'approccio predominante per addestrare agenti di navigazione web raccoglie dimostrazioni umane per un insieme di siti web popolari e compiti scritti a mano, ma sta diventando chiaro che i dati umani sono una risorsa inefficiente. Sviluppiamo un sistema per facilitare l'addestramento su scala Internet per agenti senza laboriose annotazioni umane. Nella prima fase, un LLM genera compiti per 150k siti web diversi. Nella fase successiva, gli agenti LLM completano i compiti e producono traiettorie. Nella fase finale, un LLM esamina le traiettorie e ne valuta il successo. I modelli linguistici sono competitivi con gli annotatori umani, rilevando e filtrando contenuti dannosi con un'accuratezza del 97%, generando compiti fattibili con un tasso dell'89%, e valutando le traiettorie di successo con un'accuratezza dell'82,6%. Scalando il sistema, agenti basati su Llama 3.1 70B risolvono il 16,7% dei compiti per 150k siti. L'addestramento sui dati generati dal nostro sistema è competitivo con l'addestramento su dimostrazioni umane. In impostazioni con limitazioni di dati derivate da Mind2Web e WebLINX, miglioriamo l'accuratezza del passo fino al +89,5% e +122,1% rispettivamente per agenti addestrati su miscele di dati dal nostro sistema e dati umani. Addestrando agenti con tutti i dati umani disponibili da questi benchmark, gli agenti non riescono a generalizzare su siti reali diversi, e l'aggiunta dei nostri dati migliora la loro generalizzazione del +149,0% per WebLINX e del +156,3% per Mind2Web. Il codice sarà disponibile su: data-for-agents.github.io.

English

The predominant approach for training web navigation agents gathers human demonstrations for a set of popular websites and hand-written tasks, but it is becoming clear that human data are an inefficient resource. We develop a pipeline to facilitate Internet-scale training for agents without laborious human annotations. In the first stage, an LLM generates tasks for 150k diverse websites. In the next stage, LLM agents complete tasks and produce trajectories. In the final stage, an LLM reviews the trajectories and judges their success. Language models are competitive with human annotators, detecting and filtering out harmful content with an accuracy of 97%, generating feasible tasks with an 89% rate, and judging successful trajectories with an 82.6% accuracy. Scaling the pipeline, agents based on Llama 3.1 70B solve 16.7% of tasks for 150k sites. Training on the data generated by our pipeline is competitive with training on human demonstrations. In data-limited settings derived from Mind2Web and WebLINX, we improve Step Accuracy by up to +89.5% and +122.1% respectively for agents trained on mixtures of data from our pipeline, and human data. When training agents with all available human data from these benchmarks, agents fail to generalize to diverse real sites, and adding our data improves their generalization by +149.0% for WebLINX and +156.3% for Mind2Web. Code will be available at: data-for-agents.github.io.