Eenvoudige Dataset: Een Uniform en Uitbreidbaar Framework voor het Synthetiseren van LLM Fine-Tuning Data uit Ongestructureerde Documenten

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents

July 5, 2025

Auteurs: Ziyang Miao, Qiyu Sun, Jingyuan Wang, Yuchen Gong, Yaowei Zheng, Shiqi Li, Richong Zhang

cs.AI

Samenvatting

Grote taalmodelen (LLMs) hebben indrukwekkende prestaties getoond op algemene taken, maar het aanpassen ervan aan specifieke domeinen blijft een uitdaging vanwege het gebrek aan hoogwaardige domeinspecifieke data. Bestaande tools voor datasynthese hebben vaak moeite om betrouwbare fine-tuning data effectief te extraheren uit heterogene documenten. Om deze beperking aan te pakken, stellen we Easy Dataset voor, een uniform raamwerk voor het synthetiseren van fine-tuning data uit ongestructureerde documenten via een intuïtieve grafische gebruikersinterface (GUI). Specifiek stelt Easy Dataset gebruikers in staat om eenvoudig tekstextractiemodellen en chunkingstrategieën te configureren om ruwe documenten om te zetten in samenhangende tekstsegmenten. Vervolgens maakt het gebruik van een persona-gestuurde promptbenadering om diverse vraag-antwoordparen te genereren met behulp van publiek beschikbare LLMs. Gedurende het hele proces vergemakkelijkt een visuele interface met menselijke betrokkenheid de beoordeling en verfijning van tussenliggende resultaten om de datakwaliteit te waarborgen. Experimenten op een financiële vraag-antwoordtaak laten zien dat het fine-tunen van LLMs op de gesynthetiseerde dataset de domeinspecifieke prestaties aanzienlijk verbetert, terwijl algemene kennis behouden blijft. De broncode en het installeerbare pakket zijn beschikbaar op https://github.com/ConardLi/easy-dataset en hebben meer dan 9.000 GitHub-sterren verzameld.

English

Large language models (LLMs) have shown impressive performance on general-purpose tasks, yet adapting them to specific domains remains challenging due to the scarcity of high-quality domain data. Existing data synthesis tools often struggle to extract reliable fine-tuning data from heterogeneous documents effectively. To address this limitation, we propose Easy Dataset, a unified framework for synthesizing fine-tuning data from unstructured documents via an intuitive graphical user interface (GUI). Specifically, Easy Dataset allows users to easily configure text extraction models and chunking strategies to transform raw documents into coherent text chunks. It then leverages a persona-driven prompting approach to generate diverse question-answer pairs using public-available LLMs. Throughout the pipeline, a human-in-the-loop visual interface facilitates the review and refinement of intermediate outputs to ensure data quality. Experiments on a financial question-answering task show that fine-tuning LLMs on the synthesized dataset significantly improves domain-specific performance while preserving general knowledge. The source code and installable package are available at https://github.com/ConardLi/easy-dataset and have garnered over 9,000 GitHub stars.