LongCat-Next: Lexikalisierung von Modalitäten als diskrete Tokens
LongCat-Next: Lexicalizing Modalities as Discrete Tokens
March 29, 2026
Autoren: Meituan LongCat Team, Bin Xiao, Chao Wang, Chengjiang Li, Chi Zhang, Chong Peng, Hang Yu, Hao Yang, Haonan Yan, Haoze Sun, Haozhe Zhao, Hong Liu, Hui Su, Jiaqi Zhang, Jiawei Wang, Jing Li, Kefeng Zhang, Manyuan Zhang, Minhao Jing, Peng Pei, Quan Chen, Taofeng Xue, Tongxin Pan, Xiaotong Li, Xiaoyang Li, Xiaoyu Zhao, Xing Hu, Xinyang Lin, Xunliang Cai, Yan Bai, Yan Feng, Yanjie Li, Yao Qiu, Yerui Sun, Yifan Lu, Ying Luo, Yipeng Mei, Yitian Chen, Yuchen Xie, Yufang Liu, Yufei Chen, Yulei Qian, Yuqi Peng, Zhihang Yu, Zhixiong Han, Changran Wang, Chen Chen, Dian Zheng, Fengjiao Chen, Ge Yang, Haowei Guo, Haozhe Wang, Hongyu Li, Huicheng Jiang, Jiale Hong, Jialv Zou, Jiamu Li, Jianping Lin, Jiaxing Liu, Jie Yang, Jing Jin, Jun Kuang, Juncheng She, Kunming Luo, Kuofeng Gao, Lin Qiu, Linsen Guo, Mianqiu Huang, Qi Li, Qian Wang, Rumei Li, Siyu Ren, Wei Wang, Wenlong He, Xi Chen, Xiao Liu, Xiaoyu Li, Xu Huang, Xuanyu Zhu, Xuezhi Cao, Yaoming Zhu, Yifei Cao, Yimeng Jia, Yizhen Jiang, Yufei Gao, Zeyang Hu, Zhenlong Yuan, Zijian Zhang, Ziwen Wang
cs.AI
Zusammenfassung
Das vorherrschende Next-Token-Prediction (NTP)-Paradigma hat den Erfolg großer Sprachmodelle durch diskrete autoregressive Modellierung vorangetrieben. Zeitgenössische multimodale Systeme bleiben jedoch sprachzentriert und behandeln nicht-linguistische Modalitäten oft als externe Anhänge, was zu fragmentierten Architekturen und suboptimaler Integration führt. Um diese Einschränkung zu überwinden, führen wir Discrete Native Autoregressive (DiNA) ein, einen vereinheitlichten Rahmen, der multimodale Informationen in einem gemeinsamen diskreten Raum repräsentiert und so eine konsistente und prinzipiengeleitete autoregressive Modellierung über Modalitäten hinweg ermöglicht. Eine Schlüsselinnovation ist der Discrete Native Any-resolution Visual Transformer (dNaViT), der Tokenisierung und De-Tokenisierung in beliebigen Auflösungen durchführt und kontinuierliche visuelle Signale in hierarchische diskrete Tokens umwandelt. Auf dieser Grundlage entwickeln wir LongCat-Next, ein natives multimodales Modell, das Text, Vision und Audio mit minimal modalspezifischem Design unter einem einzigen autoregressiven Ziel verarbeitet. Als industrietaugliches Foundation-Modell überzeugt es im Sehen, Malen und Sprechen innerhalb eines einzigen Frameworks und erzielt eine hohe Leistung in einer Vielzahl multimodaler Benchmarks. Insbesondere adressiert LongCat-Next die langjährige Leistungsgrenze der diskreten Visusmodellierung bei Verstehensaufgaben und bietet einen vereinheitlichten Ansatz, um den Konflikt zwischen Verstehen und Generierung effektiv aufzulösen. Als Versuch hin zu nativer Multimodalität quelloffenen wir LongCat-Next und seine Tokenizer, in der Hoffnung, weitere Forschung und Entwicklung in der Community zu fördern. GitHub: https://github.com/meituan-longcat/LongCat-Next
English
The prevailing Next-Token Prediction (NTP) paradigm has driven the success of large language models through discrete autoregressive modeling. However, contemporary multimodal systems remain language-centric, often treating non-linguistic modalities as external attachments, leading to fragmented architectures and suboptimal integration. To transcend this limitation, we introduce Discrete Native Autoregressive (DiNA), a unified framework that represents multimodal information within a shared discrete space, enabling a consistent and principled autoregressive modeling across modalities. A key innovation is the Discrete Native Any-resolution Visual Transformer (dNaViT), which performs tokenization and de-tokenization at arbitrary resolutions, transforming continuous visual signals into hierarchical discrete tokens. Building on this foundation, we develop LongCat-Next, a native multimodal model that processes text, vision, and audio under a single autoregressive objective with minimal modality-specific design. As an industrial-strength foundation model, it excels at seeing, painting, and talking within a single framework, achieving strong performance across a wide range of multimodal benchmarks. In particular, LongCat-Next addresses the long-standing performance ceiling of discrete vision modeling on understanding tasks and provides a unified approach to effectively reconcile the conflict between understanding and generation. As an attempt toward native multimodality, we open-source the LongCat-Next and its tokenizers, hoping to foster further research and development in the community. GitHub: https://github.com/meituan-longcat/LongCat-Next