# LongCat-Flash-Omni 기술 보고서

LongCat-Flash-Omni Technical Report

October 31, 2025

저자: Meituan LongCat Team, Bairui Wang, Bayan, Bin Xiao, Bo Zhang, Bolin Rong, Borun Chen, Chang Wan, Chao Zhang, Chen Huang, Chen Chen, Chen Chen, Chengxu Yang, Chengzuo Yang, Cong Han, Dandan Peng, Delian Ruan, Detai Xin, Disong Wang, Dongchao Yang, Fanfan Liu, Fengjiao Chen, Fengyu Yang, Gan Dong, Gang Huang, Gang Xu, Guanglu Wan, Guoqiang Tan, Guoqiao Yu, Haibo Qiu, Hao Lu, Hongbo Liu, Hongyu Xiang, Jiaheng Wu, Jian Yang, Jiaxing Liu, Jing Huang, Jingang Wang, Jinrui Ding, Juchao Jiang, Jun Kuang, Jun Wang, Junhui Mei, Ke Ding, Kefeng Zhang, Lei Chen, Liang Shi, Limeng Qiao, Liming Zheng, Lin Ma, Liuyang Guo, Liya Ma, Luying Sun, Man Gao, Mengshen Zhu, Miao Cao, Minliang Lin, Nuo Xu, Peng Shi, Qi Zhang, Qian Fang, Qian Wang, Qian Yang, Quanxiu Wang, Rongxiang Weng, Rongxin Guo, Ruoxuan Liang, Senbin Yang, Shanbo Xu, Shanglin Lei, Shengze Ye, Shimin Chen, Shuaiqi Chen, Shujie Hu, Shuo Li, Siqi Yang, Siyu Xu, Siyu Ren, Song Li, Songxiang Liu, Tianhao Bai, Tianye Dai, Wei Hong, Wei Wang, Weixiao Zhao, Wengang Cao, Wenlong Zhu, Wenlong He, Xi Su, Xi Nan, Xiaohan Zhao, Xiaohao Wang, Xiaoyu Zhao, Xiaoyu Wang, Xiaoyu Li, Xin Pan, Xin Chen, Xiusong Sun, Xu Xiang, Xudong Xing, Xuezhi Cao, Xunliang Cai, Yang Yang, Yanli Tan, Yao Yao, Yerui Sun, Yi Chen, Yifan Lu, Yin Gong, Yining Zhang, Yitian Chen, Yiyang Gan, Yuchen Tang, Yuchen Xie, Yueqian Wang, Yuewen Zheng, Yufei Zhang, Yufeng Zhong, Yulei Qian, Yuqi Peng, Yuwei Jiang, Zeyang Hu, Zheng Zhang, Zhengkun Tian, Zhiqing Hong, Zhixiong Zeng, Zhuqi Mi, Ziran Li, Ziwen Wang, Ziyi Zhao, Ziyuan Zhuang, Zizhe Zhao

cs.AI

초록

우리는 5,600억 개의 매개변수를 가진 최첨단 오픈소스 올모달 모델인 LongCat-Flash-Omni를 소개하며, 이 모델은 실시간 오디오-비주얼 상호작용에서 탁월한 성능을 발휘합니다. 단순한 작업에서 점차 복잡한 모달리티 시퀀스 모델링 작업으로 전환하는 커리큘럼에서 영감을 받은 점진적 학습 전략을 채택함으로써, LongCat-Flash-Omni는 강력한 단일 모달 능력을 유지하면서 포괄적인 다중모달 능력을 획득했습니다. 계산 비용이 없는 전문가를 활용한 고성능 단축 연결 MoE(전문가 혼합) 아키텍처를 차용한 LongCat-Flash를 기반으로, LongCat-Flash-Omni는 효율적인 다중모달 인식 및 음성 재구성 모듈을 통합했습니다. 5,600억 개라는 거대한 매개변수 규모(활성화 매개변수 270억 개)에도 불구하고, LongCat-Flash-Omni는 낮은 지연 시간의 실시간 오디오-비주얼 상호작용을 달성합니다. 학습 인프라 측면에서는 대규모 다중모달 학습에 내재된 데이터 및 모델 이질성을 관리하기 위해 특별히 설계된 모달리티 분리 병렬화 방식을 개발했습니다. 이 혁신적인 접근법은 텍스트 전용 학습으로 달성한 처리량의 90% 이상을 유지함으로써 탁월한 효율성을 입증합니다. 광범위한 평가를 통해 LongCat-Flash-Omni가 오픈소스 모델 중 올모달 벤치마크에서 최첨단 성능을 달성함을 확인했습니다. 더 나아가 텍스트, 이미지, 비디오 이해는 물론 오디오 이해 및 생성에 이르기까지 다양한 모달리티별 작업에서 매우 경쟁력 있는 결과를 제공합니다. 본 논문에서는 모델 아키텍처 설계, 학습 절차, 데이터 전략에 대한 포괄적인 개요를 제공하며, 커뮤니티의 향후 연구 및 개발을 촉진하기 위해 모델을 오픈소스로 공개합니다.

English

We introduce LongCat-Flash-Omni, a state-of-the-art open-source omni-modal model with 560 billion parameters, excelling at real-time audio-visual interaction. By adopting a curriculum-inspired progressive training strategy that transitions from simpler to increasingly complex modality sequence modeling tasks, LongCat-Flash-Omni attains comprehensive multimodal capabilities while maintaining strong unimodal capability. Building upon LongCat-Flash, which adopts a high-performance Shortcut-connected Mixture-of-Experts (MoE) architecture with zero-computation experts, LongCat-Flash-Omni integrates efficient multimodal perception and speech reconstruction modules. Despite its immense size of 560B parameters (with 27B activated), LongCat-Flash-Omni achieves low-latency real-time audio-visual interaction. For training infrastructure, we developed a modality-decoupled parallelism scheme specifically designed to manage the data and model heterogeneity inherent in large-scale multimodal training. This innovative approach demonstrates exceptional efficiency by sustaining over 90% of the throughput achieved by text-only training. Extensive evaluations show that LongCat-Flash-Omni achieves state-of-the-art performance on omni-modal benchmarks among open-source models. Furthermore, it delivers highly competitive results across a wide range of modality-specific tasks, including text, image, and video understanding, as well as audio understanding and generation. We provide a comprehensive overview of the model architecture design, training procedures, and data strategies, and open-source the model to foster future research and development in the community.