Attribute als textuelle Gene: Nutzung von LLMs als genetische Algorithmus-Simulatoren für die bedingte synthetische Datengenerierung

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

September 2, 2025

papers.authors: Guangzeng Han, Weisi Liu, Xiaolei Huang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) sind hervorragend darin, synthetische Daten zu generieren, aber die Sicherstellung ihrer Qualität und Vielfalt bleibt eine Herausforderung. Wir schlagen Genetic Prompt vor, ein neuartiges Framework, das genetische Algorithmen mit LLMs kombiniert, um die synthetische Datengenerierung zu erweitern. Unser Ansatz behandelt semantische Textattribute als Gensequenzen und nutzt das LLM, um Crossover- und Mutationsoperationen zu simulieren. Dieser genetische Prozess verbessert die Datenqualität und -vielfalt, indem er neuartige Attributkombinationen erzeugt, was zu synthetischen Verteilungen führt, die näher an realen Daten liegen. Um die Elternauswahl zu optimieren, integrieren wir außerdem ein aktives Lernschema, das den Suchraum für die Nachkommen erweitert. Unsere Experimente zu mehreren NLP-Aufgaben zeigen mehrere wichtige Erkenntnisse: Genetic Prompt übertrifft nicht nur die aktuellen State-of-the-Art-Baselines deutlich, sondern zeigt auch eine robuste Leistung über verschiedene Generator-Modellgrößen und -skalen hinweg. Darüber hinaus demonstrieren wir, dass die Fusion unserer synthetischen Daten mit dem ursprünglichen Trainingsdatensatz die Leistung nachgelagerter Modelle signifikant steigert, insbesondere in Szenarien mit Klassenungleichgewicht. Unsere Ergebnisse bestätigen, dass Genetic Prompt eine effektive Methode zur Erzeugung hochwertiger synthetischer Daten für eine Vielzahl von NLP-Anwendungen ist.

English

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.