Edify Image: Generación de Imágenes de Alta Calidad con Modelos de Difusión Laplaciana en el Espacio de Píxeles

Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

November 11, 2024

Autores: NVIDIA, Yuval Atzmon, Maciej Bala, Yogesh Balaji, Tiffany Cai, Yin Cui, Jiaojiao Fan, Yunhao Ge, Siddharth Gururani, Jacob Huffman, Ronald Isaac, Pooya Jannaty, Tero Karras, Grace Lam, J. P. Lewis, Aaron Licata, Yen-Chen Lin, Ming-Yu Liu, Qianli Ma, Arun Mallya, Ashlee Martino-Tarr, Doug Mendez, Seungjun Nah, Chris Pruett, Fitsum Reda, Jiaming Song, Ting-Chun Wang, Fangyin Wei, Xiaohui Zeng, Yu Zeng, Qinsheng Zhang

cs.AI

Resumen

Presentamos Edify Image, una familia de modelos de difusión capaces de generar contenido de imagen fotorrealista con una precisión de píxel perfecta. Edify Image utiliza modelos de difusión en el espacio de píxeles en cascada entrenados utilizando un novedoso proceso de difusión laplaciana, en el cual las señales de imagen en diferentes bandas de frecuencia se atenúan a tasas variables. Edify Image admite una amplia gama de aplicaciones, incluyendo síntesis de texto a imagen, aumento de resolución 4K, ControlNets, generación de panoramas HDR de 360 grados y ajuste fino para personalización de imágenes.

English

We introduce Edify Image, a family of diffusion models capable of generating photorealistic image content with pixel-perfect accuracy. Edify Image utilizes cascaded pixel-space diffusion models trained using a novel Laplacian diffusion process, in which image signals at different frequency bands are attenuated at varying rates. Edify Image supports a wide range of applications, including text-to-image synthesis, 4K upsampling, ControlNets, 360 HDR panorama generation, and finetuning for image customization.