DataDreamer: Uno Strumento per la Generazione di Dati Sintetici e Flussi di Lavoro Riproducibili per LLM

DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

February 16, 2024

Autori: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

Abstract

I grandi modelli linguistici (LLM) sono diventati uno strumento dominante e importante per i ricercatori nel campo dell'elaborazione del linguaggio naturale (NLP) in un'ampia gamma di attività. Oggi, molti ricercatori utilizzano gli LLM per la generazione di dati sintetici, la valutazione di compiti, il fine-tuning, la distillazione e altri flussi di lavoro di ricerca che coinvolgono modelli in loop. Tuttavia, l'uso di questi modelli presenta delle sfide che derivano dalla loro scala, dalla loro natura closed source e dalla mancanza di strumenti standardizzati per questi nuovi e emergenti flussi di lavoro. La rapida ascesa di questi modelli e queste sfide uniche hanno avuto un impatto negativo immediato sulla scienza aperta e sulla riproducibilità del lavoro che li utilizza. In questo articolo, presentiamo DataDreamer, una libreria Python open source che consente ai ricercatori di scrivere codice semplice per implementare potenti flussi di lavoro con LLM. DataDreamer aiuta inoltre i ricercatori a seguire le migliori pratiche che proponiamo per incoraggiare la scienza aperta e la riproducibilità. La libreria e la documentazione sono disponibili all'indirizzo https://github.com/datadreamer-dev/DataDreamer.

English

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .