Atributos como Genes Textuais: Aproveitando LLMs como Simuladores de Algoritmos Genéticos para Geração Condicional de Dados Sintéticos

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

September 2, 2025

Autores: Guangzeng Han, Weisi Liu, Xiaolei Huang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) se destacam na geração de dados sintéticos, mas garantir sua qualidade e diversidade continua sendo um desafio. Propomos o Genetic Prompt, uma nova estrutura que combina algoritmos genéticos com LLMs para aprimorar a geração de dados sintéticos. Nossa abordagem trata atributos semânticos de texto como sequências genéticas e utiliza o LLM para simular operações de cruzamento e mutação. Esse processo genético melhora a qualidade e a diversidade dos dados ao criar novas combinações de atributos, resultando em distribuições sintéticas mais próximas dos dados do mundo real. Para otimizar a seleção de pais, também integramos um esquema de aprendizado ativo que expande o espaço de busca da prole. Nossos experimentos em várias tarefas de PLN revelam várias descobertas importantes: o Genetic Prompt não apenas supera significativamente os métodos de referência mais avançados, mas também mostra um desempenho robusto em diversos tamanhos e escalas de modelos geradores. Além disso, demonstramos que a fusão de nossos dados sintéticos com o conjunto de treinamento original aumenta significativamente o desempenho do modelo downstream, especialmente em cenários com desequilíbrio de classes. Nossas descobertas validam que o Genetic Prompt é um método eficaz para produzir dados sintéticos de alta qualidade para uma ampla gama de aplicações de PLN.

English

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.