UniWeTok : Un tokeniseur binaire unifié avec un codebook de taille 2^{128} pour un modèle de langage multimodal unifié

UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model

February 15, 2026

papers.authors: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

cs.AI

papers.abstract

Les modèles de langage multimodaux unifiés (MLLM) nécessitent une représentation visuelle qui supporte simultanément une reconstruction haute fidélité, une extraction sémantique complexe et une adéquation générative. Cependant, les tokenizers visuels existants peinent généralement à satisfaire ces objectifs conflictuels dans un cadre unique. Dans cet article, nous présentons UniWeTok, un tokenizer discret unifié conçu pour combler cet écart en utilisant un codebook binaire massif (2^{128}). Pour le cadre d'entraînement, nous introduisons la Pré-Post Distillation et une Priorité Sensible à la Génération pour améliorer l'extraction sémantique et l'a priori génératif des tokens discrets. Sur le plan de l'architecture du modèle, nous proposons une architecture hybride convolution-attention avec la fonction d'activation SigLu. L'activation SigLu borne non seulement la sortie de l'encodeur et stabilise le processus de distillation sémantique, mais résout aussi efficacement le conflit d'optimisation entre la perte d'entropie des tokens et la perte d'engagement. Nous proposons en outre un cadre d'entraînement en trois phases conçu pour améliorer l'adaptabilité d'UniWeTok à diverses résolutions d'image et à des scénarios sensibles à la perception, comme ceux impliquant des visages humains et du contenu textuel. Sur ImageNet, UniWeTok atteint des performances de pointe en génération d'images (FID : UniWeTok 1.38 vs. REPA 1.42) tout en nécessitant une quantité d'entraînement remarquablement faible (Tokens d'Entraînement : UniWeTok 33B vs. REPA 262B). Dans le domaine général, UniWeTok démontre des capacités très compétitives sur un large éventail de tâches, incluant la compréhension multimodale, la génération d'images (Score DPG : UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84) et l'édition (Score Global GEdit : UniWeTok 5.09 vs. OmniGen 5.06). Nous publions le code et les modèles pour faciliter l'exploration communautaire du tokenizer unifié et des MLLM.

English

Unified Multimodal Large Language Models (MLLMs) require a visual representation that simultaneously supports high-fidelity reconstruction, complex semantic extraction, and generative suitability. However, existing visual tokenizers typically struggle to satisfy these conflicting objectives within a single framework. In this paper, we introduce UniWeTok, a unified discrete tokenizer designed to bridge this gap using a massive binary codebook (2^{128}). For training framework, we introduce Pre-Post Distillation and a Generative-Aware Prior to enhance the semantic extraction and generative prior of the discrete tokens. In terms of model architecture, we propose a convolution-attention hybrid architecture with the SigLu activation function. SigLu activation not only bounds the encoder output and stabilizes the semantic distillation process but also effectively addresses the optimization conflict between token entropy loss and commitment loss. We further propose a three-stage training framework designed to enhance UniWeTok's adaptability cross various image resolutions and perception-sensitive scenarios, such as those involving human faces and textual content. On ImageNet, UniWeTok achieves state-of-the-art image generation performance (FID: UniWeTok 1.38 vs. REPA 1.42) while requiring a remarkably low training compute (Training Tokens: UniWeTok 33B vs. REPA 262B). On general-domain, UniWeTok demonstrates highly competitive capabilities across a broad range of tasks, including multimodal understanding, image generation (DPG Score: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84), and editing (GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06). We release code and models to facilitate community exploration of unified tokenizer and MLLM.