К масштабированию обучения агентов в интернете

Towards Internet-Scale Training For Agents

February 10, 2025

Авторы: Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, Ruslan Salakhutdinov

cs.AI

Аннотация

Преобладающий подход к обучению агентов веб-навигации заключается в сборе демонстраций от людей для набора популярных веб-сайтов и ручных задач, однако становится очевидным, что данные людей являются неэффективным ресурсом. Мы разработали конвейер для облегчения обучения агентов в Интернете без трудоемких аннотаций людей. На первом этапе LLM генерирует задачи для 150 тыс. разнообразных веб-сайтов. На следующем этапе агенты LLM выполняют задачи и формируют траектории. На заключительном этапе LLM проверяет траектории и оценивает их успешность. Языковые модели конкурентоспособны с аннотаторами людей, обнаруживая и фильтруя вредный контент с точностью 97%, генерируя выполнимые задачи с частотой 89% и оценивая успешные траектории с точностью 82,6%. Масштабируя конвейер, агенты на основе Llama 3.1 70B решают 16,7% задач для 150 тыс. сайтов. Обучение на данных, сгенерированных нашим конвейером, конкурентоспособно с обучением на демонстрациях людей. В условиях ограниченных данных, полученных из Mind2Web и WebLINX, мы улучшаем точность шага на +89,5% и +122,1% соответственно для агентов, обученных на смесях данных из нашего конвейера и данных людей. При обучении агентов на всех доступных данных людей из этих бенчмарков, агенты не могут обобщаться на разнообразные реальные сайты, и добавление наших данных улучшает их обобщение на +149,0% для WebLINX и +156,3% для Mind2Web. Код будет доступен по адресу: data-for-agents.github.io.

English

The predominant approach for training web navigation agents gathers human demonstrations for a set of popular websites and hand-written tasks, but it is becoming clear that human data are an inefficient resource. We develop a pipeline to facilitate Internet-scale training for agents without laborious human annotations. In the first stage, an LLM generates tasks for 150k diverse websites. In the next stage, LLM agents complete tasks and produce trajectories. In the final stage, an LLM reviews the trajectories and judges their success. Language models are competitive with human annotators, detecting and filtering out harmful content with an accuracy of 97%, generating feasible tasks with an 89% rate, and judging successful trajectories with an 82.6% accuracy. Scaling the pipeline, agents based on Llama 3.1 70B solve 16.7% of tasks for 150k sites. Training on the data generated by our pipeline is competitive with training on human demonstrations. In data-limited settings derived from Mind2Web and WebLINX, we improve Step Accuracy by up to +89.5% and +122.1% respectively for agents trained on mixtures of data from our pipeline, and human data. When training agents with all available human data from these benchmarks, agents fail to generalize to diverse real sites, and adding our data improves their generalization by +149.0% for WebLINX and +156.3% for Mind2Web. Code will be available at: data-for-agents.github.io.