Prompting Adaptativo Guiado por VLM com Negativas para Geração Criativa

VLM-Guided Adaptive Negative Prompting for Creative Generation

October 12, 2025

Autores: Shelly Golan, Yotam Nitzan, Zongze Wu, Or Patashnik

cs.AI

Resumo

A geração criativa é a síntese de amostras novas, surpreendentes e valiosas que refletem a intenção do usuário, mas não podem ser previstas antecipadamente. Essa tarefa visa expandir a imaginação humana, permitindo a descoberta de conceitos visuais que existem nos espaços inexplorados entre domínios familiares. Embora os modelos de difusão texto-imagem se destaquem na renderização de cenas foto-realistas que correspondem fielmente às solicitações do usuário, eles ainda têm dificuldade em gerar conteúdo genuinamente novo. As abordagens existentes para aprimorar a criatividade gerativa ou dependem da interpolação de características de imagem, o que restringe a exploração a categorias predefinidas, ou exigem procedimentos demorados, como otimização de embeddings ou ajuste fino do modelo. Propomos o VLM-Guided Adaptive Negative-Prompting, um método sem treinamento, aplicado durante a inferência, que promove a geração de imagens criativas enquanto preserva a validade do objeto gerado. Nossa abordagem utiliza um modelo de visão e linguagem (VLM) que analisa as saídas intermediárias do processo de geração e o direciona de forma adaptativa para longe de conceitos visuais convencionais, incentivando o surgimento de resultados novos e surpreendentes. Avaliamos a criatividade tanto pela novidade quanto pela validade, utilizando métricas estatísticas no espaço de embeddings do CLIP. Por meio de extensos experimentos, mostramos ganhos consistentes em novidade criativa com sobrecarga computacional insignificante. Além disso, ao contrário dos métodos existentes que geram principalmente objetos únicos, nossa abordagem se estende a cenários complexos, como a geração de conjuntos coerentes de objetos criativos e a preservação da criatividade em prompts composicionais elaborados. Nosso método se integra perfeitamente aos pipelines de difusão existentes, oferecendo uma rota prática para produzir resultados criativos que vão além das limitações das descrições textuais.

English

Creative generation is the synthesis of new, surprising, and valuable samples that reflect user intent yet cannot be envisioned in advance. This task aims to extend human imagination, enabling the discovery of visual concepts that exist in the unexplored spaces between familiar domains. While text-to-image diffusion models excel at rendering photorealistic scenes that faithfully match user prompts, they still struggle to generate genuinely novel content. Existing approaches to enhance generative creativity either rely on interpolation of image features, which restricts exploration to predefined categories, or require time-intensive procedures such as embedding optimization or model fine-tuning. We propose VLM-Guided Adaptive Negative-Prompting, a training-free, inference-time method that promotes creative image generation while preserving the validity of the generated object. Our approach utilizes a vision-language model (VLM) that analyzes intermediate outputs of the generation process and adaptively steers it away from conventional visual concepts, encouraging the emergence of novel and surprising outputs. We evaluate creativity through both novelty and validity, using statistical metrics in the CLIP embedding space. Through extensive experiments, we show consistent gains in creative novelty with negligible computational overhead. Moreover, unlike existing methods that primarily generate single objects, our approach extends to complex scenarios, such as generating coherent sets of creative objects and preserving creativity within elaborate compositional prompts. Our method integrates seamlessly into existing diffusion pipelines, offering a practical route to producing creative outputs that venture beyond the constraints of textual descriptions.