Agent Data Protocol: Vereinheitlichung von Datensätzen für vielfältiges, effektives Fine-Tuning von LLM-Agenten

papers.abstract

Öffentlich zugängliche Forschungsergebnisse zur groß angelegten überwachten Feinabstimmung (Supervised Finetuning, SFT) von KI-Agenten bleiben relativ selten, da die Erhebung von Trainingsdaten für Agenten besondere Herausforderungen birgt. In dieser Arbeit vertreten wir die Auffassung, dass der Engpass nicht in einem Mangel an grundlegenden Datenquellen liegt, sondern dass eine große Vielfalt an Daten über heterogene Formate, Werkzeuge und Schnittstellen fragmentiert ist. Zu diesem Zweck führen wir das Agent Data Protocol (ADP) ein, eine schlanke Repräsentationssprache, die als "Interlingua" zwischen Agenten-Datensätzen in verschiedenen Formaten und nachgelagerten, vereinheitlichten Trainings-Pipelines für Agenten dient. Das Design von ADP ist ausdrucksstark genug, um eine große Bandbreite von Aufgaben abzubilden, einschließlich API-/Werkzeugnutzung, Browsen, Programmieren, Softwareentwicklung und allgemeinen agentenbasierten Workflows, bleibt dabei aber einfach zu parsen und zu trainieren, ohne dass anpassungsbezogenes Engineering auf Datensatzebene erforderlich ist. In Experimenten vereinheitlichten wir eine breite Sammlung von 13 bestehenden Agenten-Trainingsdatensätzen in das ADP-Format und konvertierten die standardisierten ADP-Daten in trainierbare Formate für mehrere Agenten-Frameworks. Wir führten eine SFT mit diesen Daten durch und erzielten einen durchschnittlichen Leistungszuwachs von ~20 % gegenüber den entsprechenden Basismodellen. Zudem erreicht der Ansatz state-of-the-art oder nahezu SOTA Leistungen in standardisierten Benchmarks für Programmierung, Browsen, Werkzeugnutzung und Forschung, ohne domainspezifische Abstimmung. Der gesamte Code und die Daten wurden öffentlich zugänglich gemacht, in der Hoffnung, dass ADP dazu beitragen kann, die Barrieren für standardisiertes, skalierbares und reproduzierbares Agententraining zu senken.

English

Public research results on large-scale supervised finetuning of AI agents remain relatively rare, since the collection of agent training data presents unique challenges. In this work, we argue that the bottleneck is not a lack of underlying data sources, but that a large variety of data is fragmented across heterogeneous formats, tools, and interfaces. To this end, we introduce the agent data protocol (ADP), a light-weight representation language that serves as an "interlingua" between agent datasets in diverse formats and unified agent training pipelines downstream. The design of ADP is expressive enough to capture a large variety of tasks, including API/tool use, browsing, coding, software engineering, and general agentic workflows, while remaining simple to parse and train on without engineering at a per-dataset level. In experiments, we unified a broad collection of 13 existing agent training datasets into ADP format, and converted the standardized ADP data into training-ready formats for multiple agent frameworks. We performed SFT on these data, and demonstrated an average performance gain of ~20% over corresponding base models, and delivers state-of-the-art or near-SOTA performance on standard coding, browsing, tool use, and research benchmarks, without domain-specific tuning. All code and data are released publicly, in the hope that ADP could help lower the barrier to standardized, scalable, and reproducible agent training.

Agent Data Protocol: Vereinheitlichung von Datensätzen für vielfältiges, effektives Fine-Tuning von LLM-Agenten

Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

papers.abstract

Support