UniWeTok: Um Tokenizador Binário Unificado com Tamanho de Codebook 2^{128} para Modelo de Linguagem Grande Multimodal Unificado

UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model

February 15, 2026

Autores: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

cs.AI

Resumo

Os Modelos de Linguagem Multimodais Unificados (MLLMs) exigem uma representação visual que suporte simultaneamente reconstrução de alta fidelidade, extração semântica complexa e adequação generativa. No entanto, os tokenizadores visuais existentes geralmente lutam para satisfazer estes objetivos conflituosos num único quadro. Neste artigo, introduzimos o UniWeTok, um tokenizador discreto unificado concebido para colmatar esta lacuna utilizando um codebook binário massivo (2^128). Para o quadro de treino, introduzimos a Destilação Pré-Pós e um Prior Generativo-Consciente para melhorar a extração semântica e o prior generativo dos tokens discretos. Em termos de arquitetura do modelo, propomos uma arquitetura híbrida de convolução-atenção com a função de ativação SigLu. A ativação SigLu não só limita a saída do codificador e estabiliza o processo de destilação semântica, como também resolve eficazmente o conflito de otimização entre a perda de entropia do token e a perda de compromisso. Propomos ainda um quadro de treino de três fases concebido para melhorar a adaptabilidade do UniWeTok a várias resoluções de imagem e cenários sensíveis à perceção, como os que envolvem rostos humanos e conteúdo textual. No ImageNet, o UniWeTok alcança um desempenho de geração de imagem state-of-the-art (FID: UniWeTok 1.38 vs. REPA 1.42) enquanto requer um poder computacional de treino notavelmente baixo (Tokens de Treino: UniWeTok 33B vs. REPA 262B). No domínio geral, o UniWeTok demonstra capacidades altamente competitivas numa vasta gama de tarefas, incluindo compreensão multimodal, geração de imagem (Pontuação DPG: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84) e edição (Pontuação Geral GEdit: UniWeTok 5.09 vs. OmniGen 5.06). Disponibilizamos código e modelos para facilitar a exploração comunitária do tokenizador unificado e do MLLM.

English

Unified Multimodal Large Language Models (MLLMs) require a visual representation that simultaneously supports high-fidelity reconstruction, complex semantic extraction, and generative suitability. However, existing visual tokenizers typically struggle to satisfy these conflicting objectives within a single framework. In this paper, we introduce UniWeTok, a unified discrete tokenizer designed to bridge this gap using a massive binary codebook (2^{128}). For training framework, we introduce Pre-Post Distillation and a Generative-Aware Prior to enhance the semantic extraction and generative prior of the discrete tokens. In terms of model architecture, we propose a convolution-attention hybrid architecture with the SigLu activation function. SigLu activation not only bounds the encoder output and stabilizes the semantic distillation process but also effectively addresses the optimization conflict between token entropy loss and commitment loss. We further propose a three-stage training framework designed to enhance UniWeTok's adaptability cross various image resolutions and perception-sensitive scenarios, such as those involving human faces and textual content. On ImageNet, UniWeTok achieves state-of-the-art image generation performance (FID: UniWeTok 1.38 vs. REPA 1.42) while requiring a remarkably low training compute (Training Tokens: UniWeTok 33B vs. REPA 262B). On general-domain, UniWeTok demonstrates highly competitive capabilities across a broad range of tasks, including multimodal understanding, image generation (DPG Score: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84), and editing (GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06). We release code and models to facilitate community exploration of unified tokenizer and MLLM.