ORES: Открытый словарь для ответственного синтеза визуальных данных

ORES: Open-vocabulary Responsible Visual Synthesis

August 26, 2023

Авторы: Minheng Ni, Chenfei Wu, Xiaodong Wang, Shengming Yin, Lijuan Wang, Zicheng Liu, Nan Duan

cs.AI

Аннотация

Избежание синтеза определенных визуальных концепций представляет собой важную задачу в ответственной визуальной синтезе. Однако визуальные концепции, которые необходимо избегать для ответственного визуального синтеза, могут быть разнообразными и зависят от региона, контекста и сценариев использования. В данной работе мы формализуем новую задачу, называемую Open-vocabulary Responsible Visual Synthesis (ORES), в которой модель синтеза способна избегать запрещенных визуальных концепций, одновременно позволяя пользователям вводить любой желаемый контент. Для решения этой проблемы мы предлагаем двухэтапную структуру вмешательства (Two-stage Intervention, TIN). Внедряя 1) переписывание с обучаемыми инструкциями через крупномасштабную языковую модель (LLM) и 2) синтез с вмешательством в подсказки на модели диффузионного синтеза, она может эффективно синтезировать изображения, избегая любых концепций, но максимально следуя запросу пользователя. Для оценки на ORES мы предоставляем общедоступный набор данных, базовые модели и эталонные тесты. Экспериментальные результаты демонстрируют эффективность нашего метода в снижении рисков генерации изображений. Наша работа подчеркивает потенциал LLM в ответственной визуальной синтезе. Наш код и набор данных доступны публично.

English

Avoiding synthesizing specific visual concepts is an essential challenge in responsible visual synthesis. However, the visual concept that needs to be avoided for responsible visual synthesis tends to be diverse, depending on the region, context, and usage scenarios. In this work, we formalize a new task, Open-vocabulary Responsible Visual Synthesis (ORES), where the synthesis model is able to avoid forbidden visual concepts while allowing users to input any desired content. To address this problem, we present a Two-stage Intervention (TIN) framework. By introducing 1) rewriting with learnable instruction through a large-scale language model (LLM) and 2) synthesizing with prompt intervention on a diffusion synthesis model, it can effectively synthesize images avoiding any concepts but following the user's query as much as possible. To evaluate on ORES, we provide a publicly available dataset, baseline models, and benchmark. Experimental results demonstrate the effectiveness of our method in reducing risks of image generation. Our work highlights the potential of LLMs in responsible visual synthesis. Our code and dataset is public available.