UniWeTok: Un Tokenizzatore Binario Unificato con Codebook di Dimensione 2^{128} per Modelli Linguistici Multimodali Unificati

UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model

February 15, 2026

Autori: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

cs.AI

Abstract

I Modelli Linguistici Multimodali Unificati (MLLM) richiedono una rappresentazione visiva che supporti simultaneamente la ricostruzione ad alta fedeltà, l'estrazione semantica complessa e l'idoneità generativa. Tuttavia, i tokenizzatori visivi esistenti generalmente faticano a soddisfare questi obiettivi contrastanti all'interno di un unico framework. In questo articolo, introduciamo UniWeTok, un tokenizzatore discreto unificato progettato per colmare questa lacuna utilizzando un codebook binario massiccio (2^{128}). Per il framework di addestramento, introduciamo la Distillazione Pre-Post e un Prior Generativo-Consapevole per potenziare l'estrazione semantica e il prior generativo dei token discreti. In termini di architettura del modello, proponiamo un'architettura ibrida convoluzione-attenzione con la funzione di attivazione SigLu. L'attivazione SigLu non solo vincola l'output dell'encoder e stabilizza il processo di distillazione semantica, ma affronta anche efficacemente il conflitto di ottimizzazione tra la perdita di entropia dei token e la perdita di commitment. Proponiamo inoltre un framework di addestramento in tre fasi progettato per migliorare l'adattabilità di UniWeTok a varie risoluzioni di immagine e scenari sensibili alla percezione, come quelli che coinvolgono volti umani e contenuti testuali. Su ImageNet, UniWeTok raggiunge prestazioni all'avanguardia nella generazione di immagini (FID: UniWeTok 1.38 vs. REPA 1.42) richiedendo un calcolo di addestramento notevolmente basso (Token di Addestramento: UniWeTok 33B vs. REPA 262B). Nel dominio generale, UniWeTok dimostra capacità altamente competitive in un'ampia gamma di compiti, inclusi la comprensione multimodale, la generazione di immagini (Punteggio DPG: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84) e l'editing (Punteggio Generale GEdit: UniWeTok 5.09 vs. OmniGen 5.06). Rilasciamo codice e modelli per facilitare l'esplorazione comunitaria del tokenizzatore unificato e degli MLLM.

English

Unified Multimodal Large Language Models (MLLMs) require a visual representation that simultaneously supports high-fidelity reconstruction, complex semantic extraction, and generative suitability. However, existing visual tokenizers typically struggle to satisfy these conflicting objectives within a single framework. In this paper, we introduce UniWeTok, a unified discrete tokenizer designed to bridge this gap using a massive binary codebook (2^{128}). For training framework, we introduce Pre-Post Distillation and a Generative-Aware Prior to enhance the semantic extraction and generative prior of the discrete tokens. In terms of model architecture, we propose a convolution-attention hybrid architecture with the SigLu activation function. SigLu activation not only bounds the encoder output and stabilizes the semantic distillation process but also effectively addresses the optimization conflict between token entropy loss and commitment loss. We further propose a three-stage training framework designed to enhance UniWeTok's adaptability cross various image resolutions and perception-sensitive scenarios, such as those involving human faces and textual content. On ImageNet, UniWeTok achieves state-of-the-art image generation performance (FID: UniWeTok 1.38 vs. REPA 1.42) while requiring a remarkably low training compute (Training Tokens: UniWeTok 33B vs. REPA 262B). On general-domain, UniWeTok demonstrates highly competitive capabilities across a broad range of tasks, including multimodal understanding, image generation (DPG Score: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84), and editing (GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06). We release code and models to facilitate community exploration of unified tokenizer and MLLM.