UniWeTok: Ein einheitlicher Binar-Tokenisierer mit Codebuchgröße 2^{128} für einheitliche multimodale große Sprachmodelle

UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model

February 15, 2026

papers.authors: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

cs.AI

papers.abstract

Vereinheitlichte multimodale Large Language Models (MLLMs) benötigen eine visuelle Repräsentation, die gleichzeitig hochauflösende Rekonstruktion, komplexe Semantikextraktion und generative Eignung unterstützt. Bisherige visuelle Tokenizer sind jedoch typischerweise nicht in der Lage, diese widersprüchlichen Ziele innerhalb eines einzigen Frameworks zu erfüllen. In dieser Arbeit stellen wir UniWeTok vor, einen vereinheitlichten diskreten Tokenizer, der diese Lücke unter Verwendung eines massiven binären Codebuchs (2^{128}) schließen soll. Für das Trainingsframework führen wir Pre-Post-Distillation und einen Generative-Aware Prior ein, um die Semantikextraktion und die generative Priorverteilung der diskreten Tokens zu verbessern. Hinsichtlich der Modellarchitektur schlagen wir eine Hybridarchitektur aus Faltung und Attention mit der SigLu-Aktivierungsfunktion vor. Die SigLu-Aktivierung begrenzt nicht nur die Encoder-Ausgabe und stabilisiert den Semantik-Distillationsprozess, sondern löst auch effektiv den Optimierungskonflikt zwischen Token-Entropieverlust und Commitment-Verlust. Wir schlagen weiterhin ein dreistufiges Trainingsframework vor, das entwickelt wurde, um die Anpassungsfähigkeit von UniWeTok über verschiedene Bildauflösungen und wahrnehmungssensitive Szenarien hinweg zu verbessern, wie beispielsweise solche mit menschlichen Gesichtern und Textinhalten. Auf ImageNet erzielt UniWeTok state-of-the-art Bildgenerierungsleistung (FID: UniWeTok 1,38 vs. REPA 1,42) bei bemerkenswert geringem Rechenaufwand für das Training (Trainings-Tokens: UniWeTok 33B vs. REPA 262B). Im Allgemeinbereich demonstriert UniWeTok hochgradig wettbewerbsfähige Fähigkeiten in einem breiten Aufgabenspektrum, einschließlich multimodalen Verstehens, Bildgenerierung (DPG Score: UniWeTok 86,63 vs. FLUX.1 [Dev] 83,84) und Bearbeitung (GEdit Overall Score: UniWeTok 5,09 vs. OmniGen 5,06). Wir veröffentlichen Code und Modelle, um die Erforschung vereinheitlichter Tokenizer und MLLMs durch die Community zu erleichtern.

English

Unified Multimodal Large Language Models (MLLMs) require a visual representation that simultaneously supports high-fidelity reconstruction, complex semantic extraction, and generative suitability. However, existing visual tokenizers typically struggle to satisfy these conflicting objectives within a single framework. In this paper, we introduce UniWeTok, a unified discrete tokenizer designed to bridge this gap using a massive binary codebook (2^{128}). For training framework, we introduce Pre-Post Distillation and a Generative-Aware Prior to enhance the semantic extraction and generative prior of the discrete tokens. In terms of model architecture, we propose a convolution-attention hybrid architecture with the SigLu activation function. SigLu activation not only bounds the encoder output and stabilizes the semantic distillation process but also effectively addresses the optimization conflict between token entropy loss and commitment loss. We further propose a three-stage training framework designed to enhance UniWeTok's adaptability cross various image resolutions and perception-sensitive scenarios, such as those involving human faces and textual content. On ImageNet, UniWeTok achieves state-of-the-art image generation performance (FID: UniWeTok 1.38 vs. REPA 1.42) while requiring a remarkably low training compute (Training Tokens: UniWeTok 33B vs. REPA 262B). On general-domain, UniWeTok demonstrates highly competitive capabilities across a broad range of tasks, including multimodal understanding, image generation (DPG Score: UniWeTok 86.63 vs. FLUX.1 [Dev] 83.84), and editing (GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06). We release code and models to facilitate community exploration of unified tokenizer and MLLM.