BiGR: Aprovechando Códigos Latentes Binarios para Generación de Imágenes y Mejora de las Capacidades de Representación Visual

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

October 18, 2024

Autores: Shaozhe Hao, Xuantong Liu, Xianbiao Qi, Shihao Zhao, Bojia Zi, Rong Xiao, Kai Han, Kwan-Yee K. Wong

cs.AI

Resumen

Presentamos BiGR, un novedoso modelo condicional de generación de imágenes que utiliza códigos latentes binarios compactos para el entrenamiento generativo, centrándose en mejorar tanto las capacidades de generación como de representación. BiGR es el primer modelo generativo condicional que unifica la generación y la discriminación dentro del mismo marco de trabajo. BiGR cuenta con un tokenizador binario, un mecanismo de modelado enmascarado y un transcodificador binario para la predicción de códigos binarios. Además, introducimos un novedoso método de muestreo ordenado por entropía para habilitar una generación eficiente de imágenes. Experimentos extensos validan el rendimiento superior de BiGR en calidad de generación, medida por FID-50k, y en capacidades de representación, como se evidencia por la precisión de la sonda lineal. Además, BiGR demuestra una generalización de cero disparos en diversas tareas de visión, permitiendo aplicaciones como rellenado de imágenes, creación de imágenes, edición, interpolación y enriquecimiento, sin necesidad de modificaciones estructurales. Nuestros hallazgos sugieren que BiGR unifica de manera efectiva las tareas generativas y discriminativas, allanando el camino para futuros avances en el campo.

English

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR's superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.