Attributen als tekstuele genen: Het benutten van LLM's als genetische algoritme-simulators voor conditionele synthetische datageneratie

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

September 2, 2025

Auteurs: Guangzeng Han, Weisi Liu, Xiaolei Huang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) blinken uit in het genereren van synthetische data, maar het waarborgen van de kwaliteit en diversiteit ervan blijft een uitdaging. Wij stellen Genetic Prompt voor, een nieuw raamwerk dat genetische algoritmen combineert met LLMs om de synthetische datageneratie te versterken. Onze aanpak behandelt semantische tekstattributen als gensequenties en benut het LLM om crossover- en mutatieoperaties te simuleren. Dit genetische proces verbetert de data-kwaliteit en diversiteit door nieuwe attribuutcombinaties te creëren, wat resulteert in synthetische verdelingen die dichter bij real-world data liggen. Om de ouderselectie te optimaliseren, integreren we ook een actief leerproces dat de zoekruimte voor nakomelingen vergroot. Onze experimenten op meerdere NLP-taken onthullen verschillende belangrijke bevindingen: Genetic Prompt overtreft niet alleen aanzienlijk de state-of-the-art baselines, maar toont ook robuuste prestaties over verschillende generator modelgroottes en schalen. Bovendien demonstreren we dat het samenvoegen van onze synthetische data met de originele trainingsset de prestaties van downstream modellen aanzienlijk verbetert, vooral in scenario's met klasse-onbalans. Onze bevindingen valideren dat Genetic Prompt een effectieve methode is voor het produceren van hoogwaardige synthetische data voor een breed scala aan NLP-toepassingen.

English

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.