Edify Image: Geração de Imagens de Alta Qualidade com Modelos de Difusão Laplaciana no Espaço de Pixels
Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models
November 11, 2024
Autores: NVIDIA, Yuval Atzmon, Maciej Bala, Yogesh Balaji, Tiffany Cai, Yin Cui, Jiaojiao Fan, Yunhao Ge, Siddharth Gururani, Jacob Huffman, Ronald Isaac, Pooya Jannaty, Tero Karras, Grace Lam, J. P. Lewis, Aaron Licata, Yen-Chen Lin, Ming-Yu Liu, Qianli Ma, Arun Mallya, Ashlee Martino-Tarr, Doug Mendez, Seungjun Nah, Chris Pruett, Fitsum Reda, Jiaming Song, Ting-Chun Wang, Fangyin Wei, Xiaohui Zeng, Yu Zeng, Qinsheng Zhang
cs.AI
Resumo
Apresentamos o Edify Image, uma família de modelos de difusão capazes de gerar conteúdo de imagem fotorrealista com precisão de pixel perfeita. O Edify Image utiliza modelos de difusão em cascata no espaço de pixel, treinados usando um processo de difusão laplaciano inovador, no qual os sinais de imagem em diferentes bandas de frequência são atenuados em taxas variadas. O Edify Image suporta uma ampla gama de aplicações, incluindo síntese de texto para imagem, ampliação para 4K, ControlNets, geração de panorama HDR 360 e ajuste fino para personalização de imagem.
English
We introduce Edify Image, a family of diffusion models capable of generating
photorealistic image content with pixel-perfect accuracy. Edify Image utilizes
cascaded pixel-space diffusion models trained using a novel Laplacian diffusion
process, in which image signals at different frequency bands are attenuated at
varying rates. Edify Image supports a wide range of applications, including
text-to-image synthesis, 4K upsampling, ControlNets, 360 HDR panorama
generation, and finetuning for image customization.