Einfaches Datensatz: Ein einheitliches und erweiterbares Framework zur Synthese von LLM-Fine-Tuning-Daten aus unstrukturierten Dokumenten

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents

July 5, 2025

Autoren: Ziyang Miao, Qiyu Sun, Jingyuan Wang, Yuchen Gong, Yaowei Zheng, Shiqi Li, Richong Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Leistungen bei allgemeinen Aufgaben gezeigt, doch ihre Anpassung an spezifische Domänen bleibt aufgrund der Knappheit hochwertiger Domänendaten eine Herausforderung. Bestehende Datensynthese-Tools haben oft Schwierigkeiten, zuverlässige Feinabstimmungsdaten effektiv aus heterogenen Dokumenten zu extrahieren. Um diese Einschränkung zu überwinden, schlagen wir Easy Dataset vor, ein einheitliches Framework zur Synthese von Feinabstimmungsdaten aus unstrukturierten Dokumenten über eine intuitive grafische Benutzeroberfläche (GUI). Konkret ermöglicht Easy Dataset Benutzern, Textextraktionsmodelle und Chunking-Strategien einfach zu konfigurieren, um Rohdokumente in kohärente Textabschnitte zu transformieren. Anschließend nutzt es einen persona-gesteuerten Prompting-Ansatz, um diverse Frage-Antwort-Paare mithilfe öffentlich verfügbarer LLMs zu generieren. Während des gesamten Prozesses erleichtert eine visuelle Benutzeroberfläche mit menschlicher Beteiligung die Überprüfung und Verfeinerung von Zwischenergebnissen, um die Datenqualität sicherzustellen. Experimente zu einer finanziellen Frage-Antwort-Aufgabe zeigen, dass die Feinabstimmung von LLMs auf dem synthetisierten Datensatz die domänenspezifische Leistung signifikant verbessert, während allgemeines Wissen erhalten bleibt. Der Quellcode und das installierbare Paket sind unter https://github.com/ConardLi/easy-dataset verfügbar und haben über 9.000 GitHub-Sterne erhalten.

English

Large language models (LLMs) have shown impressive performance on general-purpose tasks, yet adapting them to specific domains remains challenging due to the scarcity of high-quality domain data. Existing data synthesis tools often struggle to extract reliable fine-tuning data from heterogeneous documents effectively. To address this limitation, we propose Easy Dataset, a unified framework for synthesizing fine-tuning data from unstructured documents via an intuitive graphical user interface (GUI). Specifically, Easy Dataset allows users to easily configure text extraction models and chunking strategies to transform raw documents into coherent text chunks. It then leverages a persona-driven prompting approach to generate diverse question-answer pairs using public-available LLMs. Throughout the pipeline, a human-in-the-loop visual interface facilitates the review and refinement of intermediate outputs to ensure data quality. Experiments on a financial question-answering task show that fine-tuning LLMs on the synthesized dataset significantly improves domain-specific performance while preserving general knowledge. The source code and installable package are available at https://github.com/ConardLi/easy-dataset and have garnered over 9,000 GitHub stars.