ORES: Síntese Visual Responsável com Vocabulário Aberto

ORES: Open-vocabulary Responsible Visual Synthesis

August 26, 2023

Autores: Minheng Ni, Chenfei Wu, Xiaodong Wang, Shengming Yin, Lijuan Wang, Zicheng Liu, Nan Duan

cs.AI

Resumo

Evitar a síntese de conceitos visuais específicos é um desafio essencial na síntese visual responsável. No entanto, o conceito visual que precisa ser evitado para uma síntese visual responsável tende a ser diverso, dependendo da região, contexto e cenários de uso. Neste trabalho, formalizamos uma nova tarefa, a Síntese Visual Responsável de Vocabulário Aberto (ORES), na qual o modelo de síntese é capaz de evitar conceitos visuais proibidos, permitindo que os usuários insiram qualquer conteúdo desejado. Para abordar esse problema, apresentamos uma estrutura de Intervenção em Duas Etapas (TIN). Ao introduzir 1) a reescrita com instrução aprendível por meio de um modelo de linguagem de grande escala (LLM) e 2) a síntese com intervenção de prompt em um modelo de síntese por difusão, é possível sintetizar imagens de forma eficaz, evitando quaisquer conceitos, mas seguindo a consulta do usuário o máximo possível. Para avaliar o ORES, fornecemos um conjunto de dados publicamente disponível, modelos de referência e um benchmark. Os resultados experimentais demonstram a eficácia do nosso método na redução dos riscos da geração de imagens. Nosso trabalho destaca o potencial dos LLMs na síntese visual responsável. Nosso código e conjunto de dados estão disponíveis publicamente.

English

Avoiding synthesizing specific visual concepts is an essential challenge in responsible visual synthesis. However, the visual concept that needs to be avoided for responsible visual synthesis tends to be diverse, depending on the region, context, and usage scenarios. In this work, we formalize a new task, Open-vocabulary Responsible Visual Synthesis (ORES), where the synthesis model is able to avoid forbidden visual concepts while allowing users to input any desired content. To address this problem, we present a Two-stage Intervention (TIN) framework. By introducing 1) rewriting with learnable instruction through a large-scale language model (LLM) and 2) synthesizing with prompt intervention on a diffusion synthesis model, it can effectively synthesize images avoiding any concepts but following the user's query as much as possible. To evaluate on ORES, we provide a publicly available dataset, baseline models, and benchmark. Experimental results demonstrate the effectiveness of our method in reducing risks of image generation. Our work highlights the potential of LLMs in responsible visual synthesis. Our code and dataset is public available.