Easy Dataset: Унифицированный и расширяемый фреймворк для синтеза данных для тонкой настройки LLM из неструктурированных документов

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents

July 5, 2025

Авторы: Ziyang Miao, Qiyu Sun, Jingyuan Wang, Yuchen Gong, Yaowei Zheng, Shiqi Li, Richong Zhang

cs.AI

Аннотация

Крупные языковые модели (LLMs) демонстрируют впечатляющие результаты в решении задач общего назначения, однако их адаптация к конкретным предметным областям остается сложной задачей из-за недостатка высококачественных данных в этих областях. Существующие инструменты синтеза данных часто не могут эффективно извлекать надежные данные для тонкой настройки из гетерогенных документов. Для решения этой проблемы мы предлагаем Easy Dataset — унифицированную платформу для синтеза данных для тонкой настройки из неструктурированных документов с помощью интуитивно понятного графического интерфейса пользователя (GUI). В частности, Easy Dataset позволяет пользователям легко настраивать модели извлечения текста и стратегии разбиения на фрагменты для преобразования исходных документов в связные текстовые блоки. Затем платформа использует подход, основанный на персонализированных запросах, для генерации разнообразных пар вопрос-ответ с использованием общедоступных LLMs. На протяжении всего процесса визуальный интерфейс с участием человека облегчает проверку и уточнение промежуточных результатов для обеспечения качества данных. Эксперименты на задаче ответов на вопросы в финансовой области показывают, что тонкая настройка LLMs на синтезированном наборе данных значительно улучшает производительность в предметной области, сохраняя при этом общие знания. Исходный код и устанавливаемый пакет доступны по адресу https://github.com/ConardLi/easy-dataset и получили более 9 000 звезд на GitHub.

English

Large language models (LLMs) have shown impressive performance on general-purpose tasks, yet adapting them to specific domains remains challenging due to the scarcity of high-quality domain data. Existing data synthesis tools often struggle to extract reliable fine-tuning data from heterogeneous documents effectively. To address this limitation, we propose Easy Dataset, a unified framework for synthesizing fine-tuning data from unstructured documents via an intuitive graphical user interface (GUI). Specifically, Easy Dataset allows users to easily configure text extraction models and chunking strategies to transform raw documents into coherent text chunks. It then leverages a persona-driven prompting approach to generate diverse question-answer pairs using public-available LLMs. Throughout the pipeline, a human-in-the-loop visual interface facilitates the review and refinement of intermediate outputs to ensure data quality. Experiments on a financial question-answering task show that fine-tuning LLMs on the synthesized dataset significantly improves domain-specific performance while preserving general knowledge. The source code and installable package are available at https://github.com/ConardLi/easy-dataset and have garnered over 9,000 GitHub stars.