DataDreamer: Инструмент для генерации синтетических данных и воспроизводимых рабочих процессов LLM

DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

February 16, 2024

Авторы: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

Аннотация

Крупные языковые модели (LLMs) стали доминирующим и важным инструментом для исследователей в области обработки естественного языка (NLP) в широком спектре задач. Сегодня многие исследователи используют LLMs для генерации синтетических данных, оценки задач, тонкой настройки, дистилляции и других исследовательских процессов, включающих модели в цикл. Однако при использовании этих моделей возникают проблемы, связанные с их масштабом, закрытым исходным кодом и отсутствием стандартизированных инструментов для этих новых и развивающихся процессов. Быстрый рост популярности этих моделей и связанные с ними уникальные вызовы уже оказали негативное влияние на открытую науку и воспроизводимость работ, использующих их. В данной статье мы представляем DataDreamer — библиотеку с открытым исходным кодом на Python, которая позволяет исследователям писать простой код для реализации мощных рабочих процессов с использованием LLMs. DataDreamer также помогает исследователям придерживаться лучших практик, которые мы предлагаем для поощрения открытой науки и воспроизводимости. Библиотека и документация доступны по адресу https://github.com/datadreamer-dev/DataDreamer.

English

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .