BiGR: Aproveitando Códigos Latentes Binários para Geração de Imagens e Melhoria das Capacidades de Representação Visual

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

October 18, 2024

Autores: Shaozhe Hao, Xuantong Liu, Xianbiao Qi, Shihao Zhao, Bojia Zi, Rong Xiao, Kai Han, Kwan-Yee K. Wong

cs.AI

Resumo

Apresentamos BiGR, um modelo de geração de imagens condicionais inovador que utiliza códigos latentes binários compactos para treinamento generativo, com foco em aprimorar tanto a geração quanto as capacidades de representação. BiGR é o primeiro modelo generativo condicional que unifica geração e discriminação dentro do mesmo framework. BiGR apresenta um tokenizador binário, um mecanismo de modelagem mascarada e um transcodificador binário para previsão de códigos binários. Além disso, introduzimos um novo método de amostragem ordenada por entropia para possibilitar uma geração eficiente de imagens. Experimentos extensivos validam o desempenho superior do BiGR em qualidade de geração, medida pelo FID-50k, e em capacidades de representação, conforme evidenciado pela precisão da sonda linear. Além disso, o BiGR demonstra generalização sem necessidade de ajustes estruturais em várias tarefas de visão, possibilitando aplicações como inpainting, outpainting, edição, interpolação e enriquecimento de imagens. Nossas descobertas sugerem que o BiGR unifica de forma eficaz tarefas generativas e discriminativas, abrindo caminho para avanços adicionais no campo.

English

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR's superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.