Agent Data Protocol: Uniforme Datasets voor Diverse, Effectieve Fijnafstemming van LLM-Agenten

Samenvatting

Publieke onderzoeksresultaten over grootschalige gesuperviseerde finetuning van AI-agenten blijven relatief schaars, omdat de verzameling van trainingsdata voor agenten unieke uitdagingen met zich meebrengt. In dit werk beargumenteren wij dat het knelpunt niet een gebrek aan onderliggende databronnen is, maar dat een grote verscheidenheid aan data versnipperd is over heterogene formaten, tools en interfaces. Hiertoe introduceren wij het *agent data protocol* (ADP), een lichtgewicht representatietaal die dient als een 'interlingua' tussen agent-datasets in uiteenlopende formaten en gestandaardiseerde trainingspijplijnen voor agenten stroomafwaarts. Het ontwerp van ADP is expressief genoeg om een grote verscheidenheid aan taken vast te leggen, inclusief API/toolgebruik, browsen, programmeren, software-engineering en algemene agent-workflows, terwijl het eenvoudig blijft om te parseren en op te trainen zonder engineering op datasetniveau. In experimenten hebben wij een brede collectie van 13 bestaande agent-trainingsdatasets verenigd in het ADP-formaat, en de gestandaardiseerde ADP-data omgezet naar trainingsklare formaten voor meerdere agent-frameworks. Wij voerden SFT uit op deze data en toonden een gemiddelde prestatieverbetering aan van ~20% ten opzichte van de corresponderende basismodellen, en behaalden state-of-the-art of bijna-SOTA prestaties op standaard benchmarks voor programmeren, browsen, toolgebruik en onderzoek, zonder domeinspecifieke afstemming. Alle code en data zijn openbaar vrijgegeven, in de hoop dat ADP de drempel kan verlagen voor gestandaardiseerde, schaalbare en reproduceerbare training van agenten.

English

Public research results on large-scale supervised finetuning of AI agents remain relatively rare, since the collection of agent training data presents unique challenges. In this work, we argue that the bottleneck is not a lack of underlying data sources, but that a large variety of data is fragmented across heterogeneous formats, tools, and interfaces. To this end, we introduce the agent data protocol (ADP), a light-weight representation language that serves as an "interlingua" between agent datasets in diverse formats and unified agent training pipelines downstream. The design of ADP is expressive enough to capture a large variety of tasks, including API/tool use, browsing, coding, software engineering, and general agentic workflows, while remaining simple to parse and train on without engineering at a per-dataset level. In experiments, we unified a broad collection of 13 existing agent training datasets into ADP format, and converted the standardized ADP data into training-ready formats for multiple agent frameworks. We performed SFT on these data, and demonstrated an average performance gain of ~20% over corresponding base models, and delivers state-of-the-art or near-SOTA performance on standard coding, browsing, tool use, and research benchmarks, without domain-specific tuning. All code and data are released publicly, in the hope that ADP could help lower the barrier to standardized, scalable, and reproducible agent training.

Agent Data Protocol: Uniforme Datasets voor Diverse, Effectieve Fijnafstemming van LLM-Agenten

Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

Samenvatting

Support