Prompting adattivo guidato da VLM con negazioni per la generazione creativa

VLM-Guided Adaptive Negative Prompting for Creative Generation

October 12, 2025

Autori: Shelly Golan, Yotam Nitzan, Zongze Wu, Or Patashnik

cs.AI

Abstract

La generazione creativa consiste nella sintesi di campioni nuovi, sorprendenti e di valore che riflettono l'intento dell'utente ma non possono essere previsti in anticipo. Questo compito mira a estendere l'immaginazione umana, consentendo la scoperta di concetti visivi che esistono negli spazi inesplorati tra domini familiari. Mentre i modelli di diffusione testo-immagine eccellono nel rendere scene fotorealistiche che corrispondono fedelmente ai prompt dell'utente, faticano ancora a generare contenuti veramente innovativi. Gli approcci esistenti per migliorare la creatività generativa si basano sull'interpolazione di caratteristiche delle immagini, che limita l'esplorazione a categorie predefinite, o richiedono procedure dispendiose in termini di tempo come l'ottimizzazione degli embedding o il fine-tuning del modello. Proponiamo il VLM-Guided Adaptive Negative-Prompting, un metodo senza addestramento, applicabile durante l'inferenza, che promuove la generazione creativa di immagini preservando la validità dell'oggetto generato. Il nostro approccio utilizza un modello visione-linguaggio (VLM) che analizza gli output intermedi del processo di generazione e lo orienta in modo adattivo lontano da concetti visivi convenzionali, incoraggiando l'emergere di risultati nuovi e sorprendenti. Valutiamo la creatività attraverso sia la novità che la validità, utilizzando metriche statistiche nello spazio di embedding CLIP. Attraverso esperimenti estesi, dimostriamo guadagni consistenti in termini di novità creativa con un overhead computazionale trascurabile. Inoltre, a differenza dei metodi esistenti che generano principalmente oggetti singoli, il nostro approccio si estende a scenari complessi, come la generazione di insiemi coerenti di oggetti creativi e la preservazione della creatività all'interno di prompt compositivi elaborati. Il nostro metodo si integra perfettamente nelle pipeline di diffusione esistenti, offrendo una via pratica per produrre output creativi che vanno oltre i vincoli delle descrizioni testuali.

English

Creative generation is the synthesis of new, surprising, and valuable samples that reflect user intent yet cannot be envisioned in advance. This task aims to extend human imagination, enabling the discovery of visual concepts that exist in the unexplored spaces between familiar domains. While text-to-image diffusion models excel at rendering photorealistic scenes that faithfully match user prompts, they still struggle to generate genuinely novel content. Existing approaches to enhance generative creativity either rely on interpolation of image features, which restricts exploration to predefined categories, or require time-intensive procedures such as embedding optimization or model fine-tuning. We propose VLM-Guided Adaptive Negative-Prompting, a training-free, inference-time method that promotes creative image generation while preserving the validity of the generated object. Our approach utilizes a vision-language model (VLM) that analyzes intermediate outputs of the generation process and adaptively steers it away from conventional visual concepts, encouraging the emergence of novel and surprising outputs. We evaluate creativity through both novelty and validity, using statistical metrics in the CLIP embedding space. Through extensive experiments, we show consistent gains in creative novelty with negligible computational overhead. Moreover, unlike existing methods that primarily generate single objects, our approach extends to complex scenarios, such as generating coherent sets of creative objects and preserving creativity within elaborate compositional prompts. Our method integrates seamlessly into existing diffusion pipelines, offering a practical route to producing creative outputs that venture beyond the constraints of textual descriptions.