白川オムニ1.5 技術レポート

Baichuan-Omni-1.5 Technical Report

January 26, 2025

著者: Yadong Li, Jun Liu, Tao Zhang, Tao Zhang, Song Chen, Tianpeng Li, Zehuan Li, Lijun Liu, Lingfeng Ming, Guosheng Dong, Da Pan, Chong Li, Yuanbo Fang, Dongdong Kuang, Mingrui Wang, Chenglin Zhu, Youwei Zhang, Hongyu Guo, Fengyu Zhang, Yuran Wang, Bowen Ding, Wei Song, Xu Li, Yuqi Huo, Zheng Liang, Shusen Zhang, Xin Wu, Shuai Zhao, Linchu Xiong, Yozhen Wu, Jiahui Ye, Wenhao Lu, Bowen Li, Yan Zhang, Yaqi Zhou, Xin Chen, Lei Su, Hongda Zhang, Fuzhong Chen, Xuezhen Dong, Na Nie, Zhiying Wu, Bin Xiao, Ting Li, Shunya Dang, Ping Zhang, Yijia Sun, Jincheng Wu, Jinjie Yang, Xionghai Lin, Zhi Ma, Kegeng Wu, Jia li, Aiyuan Yang, Hui Liu, Jianqiang Zhang, Xiaoxi Chen, Guangwei Ai, Wentao Zhang, Yicong Chen, Xiaoqin Huang, Kun Li, Wenjing Luo, Yifei Duan, Lingling Zhu, Ran Xiao, Zhe Su, Jiani Pu, Dian Wang, Xu Jia, Tianyu Zhang, Mengyu Ai, Mang Wang, Yujing Qiao, Lei Zhang, Yanjun Shen, Fan Yang, Miao Zhen, Yijie Zhou, Mingyang Chen, Fei Li, Chenzheng Zhu, Keer Lu, Yaqi Zhao, Hao Liang, Youquan Li, Yanzhao Qin, Linzhuang Sun, Jianhua Xu, Haoze Sun, Mingan Lin, Zenan Zhou, Weipeng Chen

cs.AI

要旨

Baichuan-Omni-1.5を紹介します。これはオムニモーダル理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えています。各モダリティの能力を損なうことなく、モダリティ間で流暢で高品質な相互作用を実現するために、3つの主要な側面の最適化を優先しました。まず、マルチモーダルデータの包括的なデータクリーニングおよび合成パイプラインを確立し、約500Bの高品質データ（テキスト、オーディオ、ビジョン）を取得しました。次に、オーディオトークナイザー（Baichuan-Audio-Tokenizer）が設計され、オーディオから意味情報と音響情報の両方を捉えることで、MLLMとのシームレスな統合と互換性向上を実現しました。最後に、マルチステージトレーニング戦略を設計し、段階的にマルチモーダルアラインメントとマルチタスクファインチューニングを統合することで、すべてのモダリティ間で効果的なシナジーを確保しました。Baichuan-Omni-1.5は、包括的なオムニモーダル機能において、GPT4o-miniやMiniCPM-o 2.6を含む現代のモデルをリードしています。特筆すべきは、さまざまなマルチモーダル医療ベンチマークにおいて、Qwen2-VL-72Bなどの主要モデルと比較可能な結果を達成していることです。

English

We introduce Baichuan-Omni-1.5, an omni-modal model that not only has omni-modal understanding capabilities but also provides end-to-end audio generation capabilities. To achieve fluent and high-quality interaction across modalities without compromising the capabilities of any modality, we prioritized optimizing three key aspects. First, we establish a comprehensive data cleaning and synthesis pipeline for multimodal data, obtaining about 500B high-quality data (text, audio, and vision). Second, an audio-tokenizer (Baichuan-Audio-Tokenizer) has been designed to capture both semantic and acoustic information from audio, enabling seamless integration and enhanced compatibility with MLLM. Lastly, we designed a multi-stage training strategy that progressively integrates multimodal alignment and multitask fine-tuning, ensuring effective synergy across all modalities. Baichuan-Omni-1.5 leads contemporary models (including GPT4o-mini and MiniCPM-o 2.6) in terms of comprehensive omni-modal capabilities. Notably, it achieves results comparable to leading models such as Qwen2-VL-72B across various multimodal medical benchmarks.