Технический отчет Step-Audio 2
Step-Audio 2 Technical Report
July 22, 2025
Авторы: Boyong Wu, Chao Yan, Chen Hu, Cheng Yi, Chengli Feng, Fei Tian, Feiyu Shen, Gang Yu, Haoyang Zhang, Jingbei Li, Mingrui Chen, Peng Liu, Wang You, Xiangyu Tony Zhang, Xingyuan Li, Xuerui Yang, Yayue Deng, Yechang Huang, Yuxin Li, Yuxin Zhang, Zhao You, Brian Li, Changyi Wan, Hanpeng Hu, Jiangjie Zhen, Siyu Chen, Song Yuan, Xuelin Zhang, Yimin Jiang, Yu Zhou, Yuxiang Yang, Bingxin Li, Buyun Ma, Changhe Song, Dongqing Pang, Guoqiang Hu, Haiyang Sun, Kang An, Na Wang, Shuli Gao, Wei Ji, Wen Li, Wen Sun, Xuan Wen, Yong Ren, Yuankai Ma, Yufan Lu, Bin Wang, Bo Li, Changxin Miao, Che Liu, Chen Xu, Dapeng Shi, Dingyuan Hu, Donghang Wu, Enle Liu, Guanzhe Huang, Gulin Yan, Han Zhang, Hao Nie, Haonan Jia, Hongyu Zhou, Jianjian Sun, Jiaoren Wu, Jie Wu, Jie Yang, Jin Yang, Junzhe Lin, Kaixiang Li, Lei Yang, Liying Shi, Li Zhou, Longlong Gu, Ming Li, Mingliang Li, Mingxiao Li, Nan Wu, Qi Han, Qinyuan Tan, Shaoliang Pang, Shengjie Fan, Siqi Liu, Tiancheng Cao, Wanying Lu, Wenqing He, Wuxun Xie, Xu Zhao, Xueqi Li, Yanbo Yu, Yang Yang, Yi Liu, Yifan Lu, Yilei Wang, Yuanhao Ding, Yuanwei Liang, Yuanwei Lu, Yuchu Luo, Yuhe Yin, Yumeng Zhan, Yuxiang Zhang, Zidong Yang, Zixin Zhang, Binxing Jiao, Daxin Jiang, Heung-Yeung Shum, Jiansheng Chen, Jing Li, Xiangyu Zhang, Yibo Zhu
cs.AI
Аннотация
В данной статье представлена модель Step-Audio~2 — многофункциональная мультимодальная языковая модель, разработанная для промышленного применения в задачах понимания аудио и речевого взаимодействия. Благодаря интеграции латентного аудиокодера и обучения с подкреплением, ориентированного на логическое рассуждение (RL), Step-Audio 2 демонстрирует впечатляющие результаты в автоматическом распознавании речи (ASR) и понимании аудио. Для обеспечения подлинного сквозного речевого взаимодействия модель включает генерацию дискретных аудиотокенов в процесс языкового моделирования, что значительно улучшает её способность реагировать на паралингвистическую информацию, такую как стиль речи и эмоции. Для эффективного использования богатых текстовых и акустических знаний из реальных данных Step-Audio 2 интегрирует генерацию, усиленную поиском (RAG), и способна обращаться к внешним инструментам, таким как веб-поиск для снижения галлюцинаций и аудиопоиск для смены тембров. Обучаясь на миллионах часов речевых и аудиоданных, Step-Audio 2 обеспечивает интеллектуальность и выразительность в разнообразных сценариях общения. Результаты оценки показывают, что Step-Audio 2 достигает передовых показателей на различных тестах по пониманию аудио и диалоговым задачам по сравнению с другими открытыми и коммерческими решениями. Дополнительную информацию можно найти по адресу: https://github.com/stepfun-ai/Step-Audio2.
English
This paper presents Step-Audio~2, an end-to-end multi-modal large language
model designed for industry-strength audio understanding and speech
conversation. By integrating a latent audio encoder and reasoning-centric
reinforcement learning (RL), Step-Audio 2 achieves promising performance in
automatic speech recognition (ASR) and audio understanding. To facilitate
genuine end-to-end speech conversation, Step-Audio 2 incorporates the
generation of discrete audio tokens into language modeling, significantly
enhancing its responsiveness to paralinguistic information such as speaking
styles and emotions. To effectively leverage the rich textual and acoustic
knowledge in real-world data, Step-Audio 2 integrates retrieval-augmented
generation (RAG) and is able to call external tools such as web search to
mitigate hallucination and audio search to switch timbres. Trained on millions
of hours of speech and audio data, Step-Audio 2 delivers intelligence and
expressiveness across diverse conversational scenarios. Evaluation results
demonstrate that Step-Audio 2 achieves state-of-the-art performance on various
audio understanding and conversational benchmarks compared to other open-source
and commercial solutions. Please visit
https://github.com/stepfun-ai/Step-Audio2 for more information.