DataDreamer: Uma Ferramenta para Geração de Dados Sintéticos e Fluxos de Trabalho Reprodutíveis de LLM

DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

February 16, 2024

Autores: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs, na sigla em inglês) tornaram-se uma ferramenta dominante e importante para pesquisadores de PLN em uma ampla gama de tarefas. Atualmente, muitos pesquisadores utilizam LLMs na geração de dados sintéticos, avaliação de tarefas, ajuste fino, destilação e outros fluxos de trabalho de pesquisa que envolvem modelos em loop. No entanto, desafios surgem ao usar esses modelos, decorrentes de sua escala, natureza de código fechado e da falta de ferramentas padronizadas para esses novos e emergentes fluxos de trabalho. A rápida ascensão ao destaque desses modelos e desses desafios únicos teve impactos adversos imediatos na ciência aberta e na reprodutibilidade de trabalhos que os utilizam. Neste artigo, apresentamos o DataDreamer, uma biblioteca Python de código aberto que permite aos pesquisadores escrever códigos simples para implementar fluxos de trabalho poderosos com LLMs. O DataDreamer também ajuda os pesquisadores a aderir às melhores práticas que propomos para incentivar a ciência aberta e a reprodutibilidade. A biblioteca e a documentação estão disponíveis em https://github.com/datadreamer-dev/DataDreamer.

English

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .