Hacia el Entrenamiento a Escala de Internet para Agentes

Towards Internet-Scale Training For Agents

February 10, 2025

Autores: Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov

cs.AI

Resumen

El enfoque predominante para entrenar agentes de navegación web recopila demostraciones humanas para un conjunto de sitios web populares y tareas escritas a mano, pero está claro que los datos humanos son un recurso ineficiente. Desarrollamos un proceso para facilitar el entrenamiento a escala de Internet para agentes sin anotaciones humanas laboriosas. En la primera etapa, un LLM genera tareas para 150k sitios web diversos. En la siguiente etapa, los agentes LLM completan tareas y producen trayectorias. En la etapa final, un LLM revisa las trayectorias y juzga su éxito. Los modelos de lenguaje son competitivos con los anotadores humanos, detectando y filtrando contenido dañino con una precisión del 97%, generando tareas factibles con una tasa del 89%, y juzgando trayectorias exitosas con una precisión del 82.6%. Escalando el proceso, los agentes basados en Llama 3.1 70B resuelven el 16.7% de las tareas para 150k sitios. El entrenamiento con los datos generados por nuestro proceso es competitivo con el entrenamiento con demostraciones humanas. En entornos limitados en datos derivados de Mind2Web y WebLINX, mejoramos la Precisión del Paso hasta un +89.5% y +122.1% respectivamente para agentes entrenados con mezclas de datos de nuestro proceso y datos humanos. Al entrenar agentes con todos los datos humanos disponibles de estos puntos de referencia, los agentes no logran generalizar a sitios reales diversos, y agregar nuestros datos mejora su generalización en un +149.0% para WebLINX y +156.3% para Mind2Web. El código estará disponible en: data-for-agents.github.io.

English

The predominant approach for training web navigation agents gathers human demonstrations for a set of popular websites and hand-written tasks, but it is becoming clear that human data are an inefficient resource. We develop a pipeline to facilitate Internet-scale training for agents without laborious human annotations. In the first stage, an LLM generates tasks for 150k diverse websites. In the next stage, LLM agents complete tasks and produce trajectories. In the final stage, an LLM reviews the trajectories and judges their success. Language models are competitive with human annotators, detecting and filtering out harmful content with an accuracy of 97%, generating feasible tasks with an 89% rate, and judging successful trajectories with an 82.6% accuracy. Scaling the pipeline, agents based on Llama 3.1 70B solve 16.7% of tasks for 150k sites. Training on the data generated by our pipeline is competitive with training on human demonstrations. In data-limited settings derived from Mind2Web and WebLINX, we improve Step Accuracy by up to +89.5% and +122.1% respectively for agents trained on mixtures of data from our pipeline, and human data. When training agents with all available human data from these benchmarks, agents fail to generalize to diverse real sites, and adding our data improves their generalization by +149.0% for WebLINX and +156.3% for Mind2Web. Code will be available at: data-for-agents.github.io.