UniWeTok: Een Uniforme Binaire Tokenizer met Codeboekgrootte 2^{128} voor een Uniform Multimodaal Taalmodel

Samenvatting

Unified Multimodal Large Language Models (MLLM's) vereisen een visuele representatie die tegelijkertijd hoogwaardige reconstructie, complexe semantische extractie en geschiktheid voor generatie ondersteunt. Bestaande visuele tokenizers slagen er echter doorgaans niet in om deze tegenstrijdige doelstellingen binnen één enkel raamwerk te vervullen. In dit artikel introduceren we UniWeTok, een uniforme discrete tokenizer die ontworpen is om deze kloof te overbruggen met behulp van een massieve binaire codeboek (2^128). Voor het trainingsraamwerk introduceren we Pre-Post Distillatie en een Generative-Aware Prior om de semantische extractie en het generatieve voorafgaande van de discrete tokens te verbeteren. Qua modelarchitectuur stellen we een hybride architectuur van convolutie en aandacht voor met de SigLu-activeringsfunctie. SigLu-activering begrenst niet alleen de encoder-uitvoer en stabiliseert het semantische distillatieproces, maar lost ook effectief het optimalisatieconflict op tussen tokenentropieverlies en commitmentverlies. We stellen verder een driefasen-trainingsraamwerk voor dat ontworpen is om de aanpasbaarheid van UniWeTok over verschillende beeldresoluties en perceptiegevoelige scenario's te verbeteren, zoals scenario's met menselijke gezichten en tekstuele inhoud. Op ImageNet behaalt UniWeTok state-of-the-art prestaties in beeldgeneratie (FID: UniWeTok 1.38 vs. REPA 1.42) terwijl het opmerkelijk weinig rekenkracht voor training vereist (Training Tokens: UniWeTok 33B vs. REPA 262B). In het algemene domeen demonstreert UniWeTok zeer competitieve capaciteiten over een breed scala aan taken, waaronder multimodale interpretatie, beeldgeneratie (DPG Score: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84) en beeldbewerking (GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06). We geven code en modellen vrij om gemeenschappelijke verkenning van de uniforme tokenizer en MLLM te vergemakkelijken.

English

Unified Multimodal Large Language Models (MLLMs) require a visual representation that simultaneously supports high-fidelity reconstruction, complex semantic extraction, and generative suitability. However, existing visual tokenizers typically struggle to satisfy these conflicting objectives within a single framework. In this paper, we introduce UniWeTok, a unified discrete tokenizer designed to bridge this gap using a massive binary codebook (2^{128}). For training framework, we introduce Pre-Post Distillation and a Generative-Aware Prior to enhance the semantic extraction and generative prior of the discrete tokens. In terms of model architecture, we propose a convolution-attention hybrid architecture with the SigLu activation function. SigLu activation not only bounds the encoder output and stabilizes the semantic distillation process but also effectively addresses the optimization conflict between token entropy loss and commitment loss. We further propose a three-stage training framework designed to enhance UniWeTok's adaptability cross various image resolutions and perception-sensitive scenarios, such as those involving human faces and textual content. On ImageNet, UniWeTok achieves state-of-the-art image generation performance (FID: UniWeTok 1.38 vs. REPA 1.42) while requiring a remarkably low training compute (Training Tokens: UniWeTok 33B vs. REPA 262B). On general-domain, UniWeTok demonstrates highly competitive capabilities across a broad range of tasks, including multimodal understanding, image generation (DPG Score: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84), and editing (GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06). We release code and models to facilitate community exploration of unified tokenizer and MLLM.

UniWeTok: Een Uniforme Binaire Tokenizer met Codeboekgrootte 2^{128} voor een Uniform Multimodaal Taalmodel

UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model

Samenvatting

Support