Conjunto de Datos Fácil: Un Marco Unificado y Extensible para Sintetizar Datos de Ajuste Fino de LLM a partir de Documentos No Estructurados

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents

July 5, 2025

Autores: Ziyang Miao, Qiyu Sun, Jingyuan Wang, Yuchen Gong, Yaowei Zheng, Shiqi Li, Richong Zhang

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un rendimiento impresionante en tareas de propósito general, pero adaptarlos a dominios específicos sigue siendo un desafío debido a la escasez de datos de alta calidad en dichos dominios. Las herramientas existentes para la síntesis de datos a menudo tienen dificultades para extraer datos de ajuste fino de manera efectiva a partir de documentos heterogéneos. Para abordar esta limitación, proponemos Easy Dataset, un marco unificado para sintetizar datos de ajuste fino a partir de documentos no estructurados mediante una interfaz gráfica de usuario (GUI) intuitiva. En concreto, Easy Dataset permite a los usuarios configurar fácilmente modelos de extracción de texto y estrategias de fragmentación para transformar documentos sin procesar en fragmentos de texto coherentes. Luego, aprovecha un enfoque de generación basado en personajes para crear diversos pares de preguntas y respuestas utilizando LLMs de acceso público. A lo largo del proceso, una interfaz visual con participación humana facilita la revisión y refinamiento de los resultados intermedios para garantizar la calidad de los datos. Los experimentos en una tarea de respuesta a preguntas financieras muestran que el ajuste fino de LLMs en el conjunto de datos sintetizado mejora significativamente el rendimiento específico del dominio mientras se preserva el conocimiento general. El código fuente y el paquete instalable están disponibles en https://github.com/ConardLi/easy-dataset y han obtenido más de 9,000 estrellas en GitHub.

English

Large language models (LLMs) have shown impressive performance on general-purpose tasks, yet adapting them to specific domains remains challenging due to the scarcity of high-quality domain data. Existing data synthesis tools often struggle to extract reliable fine-tuning data from heterogeneous documents effectively. To address this limitation, we propose Easy Dataset, a unified framework for synthesizing fine-tuning data from unstructured documents via an intuitive graphical user interface (GUI). Specifically, Easy Dataset allows users to easily configure text extraction models and chunking strategies to transform raw documents into coherent text chunks. It then leverages a persona-driven prompting approach to generate diverse question-answer pairs using public-available LLMs. Throughout the pipeline, a human-in-the-loop visual interface facilitates the review and refinement of intermediate outputs to ensure data quality. Experiments on a financial question-answering task show that fine-tuning LLMs on the synthesized dataset significantly improves domain-specific performance while preserving general knowledge. The source code and installable package are available at https://github.com/ConardLi/easy-dataset and have garnered over 9,000 GitHub stars.