Dataset Semplice: Un Framework Unificato ed Estensibile per la Sintesi di Dati per il Fine-Tuning di LLM da Documenti Non Strutturati

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents

July 5, 2025

Autori: Ziyang Miao, Qiyu Sun, Jingyuan Wang, Yuchen Gong, Yaowei Zheng, Shiqi Li, Richong Zhang

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato prestazioni impressionanti in compiti di carattere generale, ma adattarli a domini specifici rimane una sfida a causa della scarsità di dati di alta qualità relativi al dominio. Gli strumenti esistenti per la sintesi dei dati spesso faticano a estrarre in modo efficace dati affidabili per il fine-tuning da documenti eterogenei. Per affrontare questa limitazione, proponiamo Easy Dataset, un framework unificato per sintetizzare dati di fine-tuning da documenti non strutturati attraverso un'interfaccia grafica intuitiva (GUI). Nello specifico, Easy Dataset consente agli utenti di configurare facilmente modelli di estrazione del testo e strategie di suddivisione per trasformare documenti grezzi in frammenti di testo coerenti. Successivamente, sfrutta un approccio basato su prompt guidati da personaggi per generare coppie domanda-risposta diverse utilizzando LLM disponibili pubblicamente. Durante l'intero processo, un'interfaccia visiva con un umano nel ciclo facilita la revisione e il perfezionamento degli output intermedi per garantire la qualità dei dati. Esperimenti su un'attività di risposta alle domande finanziarie dimostrano che il fine-tuning dei LLM sul dataset sintetizzato migliora significativamente le prestazioni specifiche del dominio preservando al contempo la conoscenza generale. Il codice sorgente e il pacchetto installabile sono disponibili all'indirizzo https://github.com/ConardLi/easy-dataset e hanno ottenuto oltre 9.000 stelle su GitHub.

English

Large language models (LLMs) have shown impressive performance on general-purpose tasks, yet adapting them to specific domains remains challenging due to the scarcity of high-quality domain data. Existing data synthesis tools often struggle to extract reliable fine-tuning data from heterogeneous documents effectively. To address this limitation, we propose Easy Dataset, a unified framework for synthesizing fine-tuning data from unstructured documents via an intuitive graphical user interface (GUI). Specifically, Easy Dataset allows users to easily configure text extraction models and chunking strategies to transform raw documents into coherent text chunks. It then leverages a persona-driven prompting approach to generate diverse question-answer pairs using public-available LLMs. Throughout the pipeline, a human-in-the-loop visual interface facilitates the review and refinement of intermediate outputs to ensure data quality. Experiments on a financial question-answering task show that fine-tuning LLMs on the synthesized dataset significantly improves domain-specific performance while preserving general knowledge. The source code and installable package are available at https://github.com/ConardLi/easy-dataset and have garnered over 9,000 GitHub stars.