Attributi come Geni Testuali: Sfruttare i Modelli Linguistici di Grande Dimensione come Simulatori di Algoritmi Genetici per la Generazione Condizionata di Dati Sintetici

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

September 2, 2025

Autori: Guangzeng Han, Weisi Liu, Xiaolei Huang

cs.AI

Abstract

I Large Language Model (LLM) eccellono nella generazione di dati sintetici, ma garantire la loro qualità e diversità rimane una sfida. Proponiamo Genetic Prompt, un nuovo framework che combina algoritmi genetici con LLM per potenziare la generazione di dati sintetici. Il nostro approccio tratta gli attributi semantici del testo come sequenze geniche e sfrutta l'LLM per simulare operazioni di crossover e mutazione. Questo processo genetico migliora la qualità e la diversità dei dati creando nuove combinazioni di attributi, producendo distribuzioni sintetiche più vicine ai dati del mondo reale. Per ottimizzare la selezione dei genitori, integriamo anche uno schema di active learning che espande lo spazio di ricerca della prole. I nostri esperimenti su molteplici task di NLP rivelano diversi risultati chiave: Genetic Prompt non solo supera significativamente i baseline state-of-the-art, ma mostra anche prestazioni robuste su varie dimensioni e scale di modelli generativi. Inoltre, dimostriamo che la fusione dei nostri dati sintetici con il set di addestramento originale migliora significativamente le prestazioni del modello downstream, in particolare per scenari con classi sbilanciate. I nostri risultati convalidano che Genetic Prompt è un metodo efficace per produrre dati sintetici di alta qualità per un'ampia gamma di applicazioni NLP.

English

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.