Richtung Internet-Maßstab-Training für Agenten

Towards Internet-Scale Training For Agents

February 10, 2025

Autoren: Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov

cs.AI

Zusammenfassung

Der vorherrschende Ansatz zur Schulung von Web-Navigationsagenten sammelt menschliche Demonstrationen für eine Reihe von beliebten Websites und handgeschriebene Aufgaben, aber es wird immer klarer, dass menschliche Daten eine ineffiziente Ressource sind. Wir entwickeln eine Pipeline, um das Training von Agenten im Internet-Maßstab ohne mühsame menschliche Annotationen zu erleichtern. In der ersten Phase generiert ein LLM Aufgaben für 150.000 verschiedene Websites. In der nächsten Phase erledigen LLM-Agenten die Aufgaben und erstellen Trajektorien. In der letzten Phase überprüft ein LLM die Trajektorien und bewertet ihren Erfolg. Sprachmodelle sind wettbewerbsfähig mit menschlichen Annotatoren, indem sie schädliche Inhalte mit einer Genauigkeit von 97% erkennen und filtern, machbare Aufgaben mit einer Rate von 89% generieren und erfolgreiche Trajektorien mit einer Genauigkeit von 82,6% bewerten. Durch Skalierung der Pipeline lösen Agenten auf Basis von Llama 3.1 70B 16,7% der Aufgaben für 150.000 Websites. Das Training auf den von unserer Pipeline generierten Daten ist wettbewerbsfähig mit dem Training auf menschlichen Demonstrationen. In datenbeschränkten Umgebungen, abgeleitet von Mind2Web und WebLINX, verbessern wir die Schrittgenauigkeit um bis zu +89,5% bzw. +122,1% für Agenten, die auf Mischungen von Daten aus unserer Pipeline und menschlichen Daten trainiert wurden. Beim Training von Agenten mit allen verfügbaren menschlichen Daten aus diesen Benchmarks gelingt es den Agenten nicht, auf vielfältige reale Websites zu verallgemeinern, und die Hinzufügung unserer Daten verbessert ihre Verallgemeinerung um +149,0% für WebLINX und +156,3% für Mind2Web. Der Code wird verfügbar sein unter: data-for-agents.github.io.

English

The predominant approach for training web navigation agents gathers human demonstrations for a set of popular websites and hand-written tasks, but it is becoming clear that human data are an inefficient resource. We develop a pipeline to facilitate Internet-scale training for agents without laborious human annotations. In the first stage, an LLM generates tasks for 150k diverse websites. In the next stage, LLM agents complete tasks and produce trajectories. In the final stage, an LLM reviews the trajectories and judges their success. Language models are competitive with human annotators, detecting and filtering out harmful content with an accuracy of 97%, generating feasible tasks with an 89% rate, and judging successful trajectories with an 82.6% accuracy. Scaling the pipeline, agents based on Llama 3.1 70B solve 16.7% of tasks for 150k sites. Training on the data generated by our pipeline is competitive with training on human demonstrations. In data-limited settings derived from Mind2Web and WebLINX, we improve Step Accuracy by up to +89.5% and +122.1% respectively for agents trained on mixtures of data from our pipeline, and human data. When training agents with all available human data from these benchmarks, agents fail to generalize to diverse real sites, and adding our data improves their generalization by +149.0% for WebLINX and +156.3% for Mind2Web. Code will be available at: data-for-agents.github.io.