ORES: オープン語彙責任ある視覚合成

ORES: Open-vocabulary Responsible Visual Synthesis

August 26, 2023

著者: Minheng Ni, Chenfei Wu, Xiaodong Wang, Shengming Yin, Lijuan Wang, Zicheng Liu, Nan Duan

cs.AI

要旨

責任ある視覚的合成において、特定の視覚概念を合成しないようにすることは重要な課題です。しかし、責任ある視覚的合成のために避けるべき視覚概念は、地域、文脈、使用シナリオによって多様である傾向があります。本研究では、Open-vocabulary Responsible Visual Synthesis (ORES)という新しいタスクを定式化します。このタスクでは、合成モデルが禁止された視覚概念を避けつつ、ユーザーが任意の内容を入力できるようにします。この問題に対処するため、Two-stage Intervention (TIN)フレームワークを提案します。1) 大規模言語モデル（LLM）を用いた学習可能な指示による書き換え、2) 拡散合成モデルに対するプロンプト介入による合成を導入することで、任意の概念を避けつつ、可能な限りユーザーのクエリに従った画像を効果的に合成できます。ORESを評価するため、公開データセット、ベースラインモデル、ベンチマークを提供します。実験結果は、画像生成のリスクを低減する当手法の有効性を示しています。本研究は、責任ある視覚的合成におけるLLMの可能性を強調します。コードとデータセットは公開されています。

English

Avoiding synthesizing specific visual concepts is an essential challenge in responsible visual synthesis. However, the visual concept that needs to be avoided for responsible visual synthesis tends to be diverse, depending on the region, context, and usage scenarios. In this work, we formalize a new task, Open-vocabulary Responsible Visual Synthesis (ORES), where the synthesis model is able to avoid forbidden visual concepts while allowing users to input any desired content. To address this problem, we present a Two-stage Intervention (TIN) framework. By introducing 1) rewriting with learnable instruction through a large-scale language model (LLM) and 2) synthesizing with prompt intervention on a diffusion synthesis model, it can effectively synthesize images avoiding any concepts but following the user's query as much as possible. To evaluate on ORES, we provide a publicly available dataset, baseline models, and benchmark. Experimental results demonstrate the effectiveness of our method in reducing risks of image generation. Our work highlights the potential of LLMs in responsible visual synthesis. Our code and dataset is public available.