BiGR: Sfruttare Codici Latenti Binari per la Generazione di Immagini e Migliorate Capacità di Rappresentazione Visiva

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

October 18, 2024

Autori: Shaozhe Hao, Xuantong Liu, Xianbiao Qi, Shihao Zhao, Bojia Zi, Rong Xiao, Kai Han, Kwan-Yee K. Wong

cs.AI

Abstract

Introduciamo BiGR, un nuovo modello di generazione condizionale di immagini che utilizza codici latenti binari compatti per l'addestramento generativo, con l'obiettivo di potenziare le capacità di generazione e rappresentazione. BiGR è il primo modello generativo condizionale che unisce generazione e discriminazione all'interno dello stesso framework. BiGR presenta un tokenizzatore binario, un meccanismo di modellazione mascherato e un trascodificatore binario per la predizione del codice binario. Inoltre, introduciamo un nuovo metodo di campionamento ordinato per entropia per abilitare una generazione efficiente delle immagini. Esperimenti estesi convalidano le prestazioni superiori di BiGR in termini di qualità di generazione, misurata da FID-50k, e capacità di rappresentazione, come evidenziato dall'accuratezza della sonda lineare. Inoltre, BiGR dimostra una generalizzazione a zero-shot attraverso vari compiti di visione, consentendo applicazioni come il ritocco, l'estensione, l'editing, l'interpolazione e l'arricchimento delle immagini, senza la necessità di modifiche strutturali. I nostri risultati suggeriscono che BiGR unisce in modo efficace compiti generativi e discriminativi, aprendo la strada a ulteriori progressi nel campo.

English

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR's superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.