ControlNet++: Улучшение Условного Управления с Эффективной Согласованностью Обратная связь

ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback

April 11, 2024

Авторы: Ming Li, Taojiannan Yang, Huafeng Kuang, Jie Wu, Zhaoning Wang, Xuefeng Xiao, Chen Chen

cs.AI

Аннотация

Для улучшения управляемости моделей диффузии текста в изображение существующие усилия, такие как ControlNet, внедрили изображения, основанные на условных управлениях. В этой статье мы показываем, что существующие методы по-прежнему сталкиваются с значительными проблемами при генерации изображений, соответствующих изображениям условных управлений. Для этого мы предлагаем ControlNet++, новый подход, который улучшает управляемую генерацию путем явной оптимизации циклической последовательности на уровне пикселей между сгенерированными изображениями и условными управлениями. Конкретно, для входного условного управления мы используем предварительно обученную дискриминативную модель вознаграждения для извлечения соответствующего условия сгенерированных изображений, а затем оптимизируем потери согласованности между входным условным управлением и извлеченным условием. Прямолинейная реализация заключается в генерации изображений из случайных шумов, а затем расчете потерь согласованности, но такой подход требует сохранения градиентов для нескольких временных шагов выборки, что приводит к значительным временным и памятьным затратам. Для решения этой проблемы мы предлагаем эффективную стратегию вознаграждения, которая намеренно нарушает входные изображения, добавляя шум, а затем использует денойзированные изображения на один шаг для тонкой настройки вознаграждения. Это позволяет избежать значительных затрат, связанных с выборкой изображений, обеспечивая более эффективную тонкую настройку вознаграждения. Обширные эксперименты показывают, что ControlNet++ значительно улучшает управляемость при различных условных управлениях. Например, он достигает улучшений по сравнению с ControlNet на 7,9% mIoU, 13,4% SSIM и 7,6% RMSE соответственно для маски сегментации, края линейного рисунка и глубины.

English

To enhance the controllability of text-to-image diffusion models, existing efforts like ControlNet incorporated image-based conditional controls. In this paper, we reveal that existing methods still face significant challenges in generating images that align with the image conditional controls. To this end, we propose ControlNet++, a novel approach that improves controllable generation by explicitly optimizing pixel-level cycle consistency between generated images and conditional controls. Specifically, for an input conditional control, we use a pre-trained discriminative reward model to extract the corresponding condition of the generated images, and then optimize the consistency loss between the input conditional control and extracted condition. A straightforward implementation would be generating images from random noises and then calculating the consistency loss, but such an approach requires storing gradients for multiple sampling timesteps, leading to considerable time and memory costs. To address this, we introduce an efficient reward strategy that deliberately disturbs the input images by adding noise, and then uses the single-step denoised images for reward fine-tuning. This avoids the extensive costs associated with image sampling, allowing for more efficient reward fine-tuning. Extensive experiments show that ControlNet++ significantly improves controllability under various conditional controls. For example, it achieves improvements over ControlNet by 7.9% mIoU, 13.4% SSIM, and 7.6% RMSE, respectively, for segmentation mask, line-art edge, and depth conditions.