Attributs en tant que gènes textuels : Exploiter les LLM comme simulateurs d'algorithmes génétiques pour la génération conditionnelle de données synthétiques

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

September 2, 2025

papers.authors: Guangzeng Han, Weisi Liu, Xiaolei Huang

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) excellent dans la génération de données synthétiques, mais garantir leur qualité et leur diversité reste un défi. Nous proposons Genetic Prompt, un nouveau cadre qui combine des algorithmes génétiques avec les LLMs pour améliorer la génération de données synthétiques. Notre approche traite les attributs sémantiques du texte comme des séquences génétiques et exploite le LLM pour simuler des opérations de croisement et de mutation. Ce processus génétique améliore la qualité et la diversité des données en créant de nouvelles combinaisons d'attributs, produisant ainsi des distributions synthétiques plus proches des données réelles. Pour optimiser la sélection des parents, nous intégrons également un schéma d'apprentissage actif qui élargit l'espace de recherche des descendants. Nos expériences sur plusieurs tâches de NLP révèlent plusieurs résultats clés : Genetic Prompt non seulement surpasse significativement les meilleures méthodes de référence, mais montre également une performance robuste à travers différentes tailles et échelles de modèles générateurs. De plus, nous démontrons que la fusion de nos données synthétiques avec l'ensemble d'entraînement original améliore considérablement la performance des modèles en aval, en particulier dans des scénarios de déséquilibre de classes. Nos résultats valident que Genetic Prompt est une méthode efficace pour produire des données synthétiques de haute qualité pour une large gamme d'applications NLP.

English

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.