DataDreamer: Een tool voor synthetische datageneratie en reproduceerbare LLM-werkstromen

DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

February 16, 2024

Auteurs: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

Samenvatting

Grote taalmodellen (LLMs) zijn een dominant en belangrijk hulpmiddel geworden voor NLP-onderzoekers in een breed scala aan taken. Tegenwoordig gebruiken veel onderzoekers LLMs voor synthetische datageneratie, taakevaluatie, fine-tuning, distillatie en andere onderzoeksworkflows waarbij modellen in de loop worden betrokken. Er doen zich echter uitdagingen voor bij het gebruik van deze modellen, die voortkomen uit hun schaal, hun gesloten broncode en het gebrek aan gestandaardiseerde tools voor deze nieuwe en opkomende workflows. De snelle opkomst van deze modellen en deze unieke uitdagingen heeft directe negatieve gevolgen gehad voor open wetenschap en de reproduceerbaarheid van werk dat ze gebruikt. In dit artikel introduceren we DataDreamer, een open source Python-bibliotheek die onderzoekers in staat stelt eenvoudige code te schrijven om krachtige LLM-workflows te implementeren. DataDreamer helpt onderzoekers ook om zich te houden aan best practices die wij voorstellen om open wetenschap en reproduceerbaarheid te bevorderen. De bibliotheek en documentatie zijn beschikbaar op https://github.com/datadreamer-dev/DataDreamer.

English

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .