Atributos como Genes Textuales: Aprovechando los Modelos de Lenguaje de Gran Escala como Simuladores de Algoritmos Genéticos para la Generación de Datos Sintéticos Condicionales

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

September 2, 2025

Autores: Guangzeng Han, Weisi Liu, Xiaolei Huang

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) destacan en la generación de datos sintéticos, pero garantizar su calidad y diversidad sigue siendo un desafío. Proponemos Genetic Prompt, un marco novedoso que combina algoritmos genéticos con LLMs para potenciar la generación de datos sintéticos. Nuestro enfoque trata los atributos semánticos del texto como secuencias génicas y aprovecha el LLM para simular operaciones de cruce y mutación. Este proceso genético mejora la calidad y diversidad de los datos al crear combinaciones novedosas de atributos, produciendo distribuciones sintéticas más cercanas a los datos del mundo real. Para optimizar la selección de padres, también integramos un esquema de aprendizaje activo que amplía el espacio de búsqueda de descendientes. Nuestros experimentos en múltiples tareas de Procesamiento del Lenguaje Natural (NLP) revelan varios hallazgos clave: Genetic Prompt no solo supera significativamente a los métodos de referencia más avanzados, sino que también muestra un rendimiento robusto en diversos tamaños y escalas de modelos generadores. Además, demostramos que la fusión de nuestros datos sintéticos con el conjunto de entrenamiento original mejora significativamente el rendimiento del modelo en tareas posteriores, especialmente en escenarios con desequilibrio de clases. Nuestros hallazgos validan que Genetic Prompt es un método efectivo para producir datos sintéticos de alta calidad para una amplia gama de aplicaciones de NLP.

English

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.