ORES : Synthèse visuelle responsable à vocabulaire ouvert

ORES: Open-vocabulary Responsible Visual Synthesis

August 26, 2023

Auteurs: Minheng Ni, Chenfei Wu, Xiaodong Wang, Shengming Yin, Lijuan Wang, Zicheng Liu, Nan Duan

cs.AI

Résumé

Éviter de synthétiser des concepts visuels spécifiques constitue un défi essentiel dans la synthèse visuelle responsable. Cependant, les concepts visuels à éviter pour une synthèse visuelle responsable tendent à être divers, dépendant de la région, du contexte et des scénarios d'utilisation. Dans ce travail, nous formalisons une nouvelle tâche, la Synthèse Visuelle Responsable à Vocabulaire Ouvert (ORES), où le modèle de synthèse est capable d'éviter les concepts visuels interdits tout en permettant aux utilisateurs de saisir tout contenu souhaité. Pour résoudre ce problème, nous proposons un cadre d'Intervention en Deux Étapes (TIN). En introduisant 1) une réécriture avec des instructions apprenables via un modèle de langage à grande échelle (LLM) et 2) une synthèse avec intervention sur les prompts dans un modèle de synthèse par diffusion, il peut efficacement synthétiser des images en évitant tout concept interdit tout en suivant au maximum la requête de l'utilisateur. Pour évaluer ORES, nous fournissons un ensemble de données accessible au public, des modèles de référence et un benchmark. Les résultats expérimentaux démontrent l'efficacité de notre méthode pour réduire les risques liés à la génération d'images. Notre travail met en lumière le potentiel des LLM dans la synthèse visuelle responsable. Notre code et notre ensemble de données sont disponibles publiquement.

English

Avoiding synthesizing specific visual concepts is an essential challenge in responsible visual synthesis. However, the visual concept that needs to be avoided for responsible visual synthesis tends to be diverse, depending on the region, context, and usage scenarios. In this work, we formalize a new task, Open-vocabulary Responsible Visual Synthesis (ORES), where the synthesis model is able to avoid forbidden visual concepts while allowing users to input any desired content. To address this problem, we present a Two-stage Intervention (TIN) framework. By introducing 1) rewriting with learnable instruction through a large-scale language model (LLM) and 2) synthesizing with prompt intervention on a diffusion synthesis model, it can effectively synthesize images avoiding any concepts but following the user's query as much as possible. To evaluate on ORES, we provide a publicly available dataset, baseline models, and benchmark. Experimental results demonstrate the effectiveness of our method in reducing risks of image generation. Our work highlights the potential of LLMs in responsible visual synthesis. Our code and dataset is public available.