Invite à la génération créative par prompts négatifs adaptatifs guidés par VLM

VLM-Guided Adaptive Negative Prompting for Creative Generation

October 12, 2025

papers.authors: Shelly Golan, Yotam Nitzan, Zongze Wu, Or Patashnik

cs.AI

papers.abstract

La génération créative consiste en la synthèse de nouveaux échantillons surprenants et précieux qui reflètent l'intention de l'utilisateur tout en étant impossibles à anticiper. Cette tâche vise à étendre l'imagination humaine, permettant la découverte de concepts visuels existant dans les espaces inexplorés entre des domaines familiers. Bien que les modèles de diffusion texte-image excellent dans le rendu de scènes photoréalistes fidèles aux instructions de l'utilisateur, ils peinent encore à générer un contenu véritablement novateur. Les approches existantes pour améliorer la créativité générative reposent soit sur l'interpolation de caractéristiques d'image, ce qui limite l'exploration à des catégories prédéfinies, soit sur des procédures chronophages telles que l'optimisation d'embeddings ou le fine-tuning de modèles. Nous proposons le "VLM-Guided Adaptive Negative-Prompting", une méthode sans entraînement, appliquée lors de l'inférence, qui favorise la génération d'images créatives tout en préservant la validité de l'objet généré. Notre approche utilise un modèle vision-langage (VLM) qui analyse les sorties intermédiaires du processus de génération et les redirige de manière adaptative loin des concepts visuels conventionnels, encourageant l'émergence de résultats nouveaux et surprenants. Nous évaluons la créativité à travers la nouveauté et la validité, en utilisant des métriques statistiques dans l'espace d'embedding CLIP. À travers des expériences approfondies, nous montrons des gains constants en nouveauté créative avec un surcoût computationnel négligeable. De plus, contrairement aux méthodes existantes qui génèrent principalement des objets isolés, notre approche s'étend à des scénarios complexes, tels que la génération d'ensembles cohérents d'objets créatifs et la préservation de la créativité dans des prompts compositionnels élaborés. Notre méthode s'intègre de manière transparente dans les pipelines de diffusion existants, offrant une voie pratique pour produire des résultats créatifs qui dépassent les contraintes des descriptions textuelles.

English

Creative generation is the synthesis of new, surprising, and valuable samples that reflect user intent yet cannot be envisioned in advance. This task aims to extend human imagination, enabling the discovery of visual concepts that exist in the unexplored spaces between familiar domains. While text-to-image diffusion models excel at rendering photorealistic scenes that faithfully match user prompts, they still struggle to generate genuinely novel content. Existing approaches to enhance generative creativity either rely on interpolation of image features, which restricts exploration to predefined categories, or require time-intensive procedures such as embedding optimization or model fine-tuning. We propose VLM-Guided Adaptive Negative-Prompting, a training-free, inference-time method that promotes creative image generation while preserving the validity of the generated object. Our approach utilizes a vision-language model (VLM) that analyzes intermediate outputs of the generation process and adaptively steers it away from conventional visual concepts, encouraging the emergence of novel and surprising outputs. We evaluate creativity through both novelty and validity, using statistical metrics in the CLIP embedding space. Through extensive experiments, we show consistent gains in creative novelty with negligible computational overhead. Moreover, unlike existing methods that primarily generate single objects, our approach extends to complex scenarios, such as generating coherent sets of creative objects and preserving creativity within elaborate compositional prompts. Our method integrates seamlessly into existing diffusion pipelines, offering a practical route to producing creative outputs that venture beyond the constraints of textual descriptions.