DataDreamer: Ein Werkzeug zur synthetischen Datengenerierung und reproduzierbaren LLM-Workflows

DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

February 16, 2024

papers.authors: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben sich zu einem dominierenden und wichtigen Werkzeug für NLP-Forscher in einer Vielzahl von Aufgaben entwickelt. Heutzutage nutzen viele Forscher LLMs für die Erzeugung synthetischer Daten, die Bewertung von Aufgaben, das Feinabstimmen, die Destillation und andere Modell-im-Loop-Forschungsabläufe. Es ergeben sich jedoch Herausforderungen bei der Verwendung dieser Modelle, die sich aus ihrer Größe, ihrer Closed-Source-Natur und dem Mangel an standardisierten Werkzeugen für diese neuen und aufkommenden Arbeitsabläufe ergeben. Der rasche Aufstieg dieser Modelle und diese einzigartigen Herausforderungen haben unmittelbare negative Auswirkungen auf die offene Wissenschaft und die Reproduzierbarkeit von Arbeiten, die sie verwenden. In diesem Artikel stellen wir DataDreamer vor, eine Open-Source-Python-Bibliothek, die es Forschern ermöglicht, einfachen Code zu schreiben, um leistungsstarke LLM-Arbeitsabläufe zu implementieren. DataDreamer hilft Forschern auch dabei, Best Practices einzuhalten, die wir vorschlagen, um offene Wissenschaft und Reproduzierbarkeit zu fördern. Die Bibliothek und die Dokumentation sind unter https://github.com/datadreamer-dev/DataDreamer verfügbar.

English

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .