복스트랄
Voxtral
July 17, 2025
저자: Alexander H. Liu, Andy Ehrenberg, Andy Lo, Clément Denoix, Corentin Barreau, Guillaume Lample, Jean-Malo Delignon, Khyathi Raghavi Chandu, Patrick von Platen, Pavankumar Reddy Muddireddy, Sanchit Gandhi, Soham Ghosh, Srijan Mishra, Thomas Foubert, Abhinav Rastogi, Adam Yang, Albert Q. Jiang, Alexandre Sablayrolles, Amélie Héliou, Amélie Martin, Anmol Agarwal, Antoine Roux, Arthur Darcet, Arthur Mensch, Baptiste Bout, Baptiste Rozière, Baudouin De Monicault, Chris Bamford, Christian Wallenwein, Christophe Renaudin, Clémence Lanfranchi, Darius Dabert, Devendra Singh Chaplot, Devon Mizelle, Diego de las Casas, Elliot Chane-Sane, Emilien Fugier, Emma Bou Hanna, Gabrielle Berrada, Gauthier Delerce, Gauthier Guinet, Georgii Novikov, Guillaume Martin, Himanshu Jaju, Jan Ludziejewski, Jason Rute, Jean-Hadrien Chabran, Jessica Chudnovsky, Joachim Studnia, Joep Barmentlo, Jonas Amar, Josselin Somerville Roberts, Julien Denize, Karan Saxena, Karmesh Yadav, Kartik Khandelwal, Kush Jain, Lélio Renard Lavaud, Léonard Blier, Lingxiao Zhao, Louis Martin, Lucile Saulnier, Luyu Gao, Marie Pellat, Mathilde Guillaumin, Mathis Felardos, Matthieu Dinot, Maxime Darrin, Maximilian Augustin, Mickaël Seznec, Neha Gupta, Nikhil Raghuraman, Olivier Duchenne, Patricia Wang, Patryk Saffer, Paul Jacob, Paul Wambergue, Paula Kurylowicz, Philomène Chagniot, Pierre Stock, Pravesh Agrawal, Rémi Delacourt, Romain Sauvestre, Roman Soletskyi, Sagar Vaze, Sandeep Subramanian, Saurabh Garg, Shashwat Dalal, Siddharth Gandhi, Sumukh Aithal, Szymon Antoniak, Teven Le Scao, Thibault Schueller, Thibaut Lavril, Thomas Robert, Thomas Wang, Timothée Lacroix, Tom Bewley, Valeriia Nemychnikova, Victor Paltz, Virgile Richard, Wen-Ding Li, William Marshall, Xuanyu Zhang, Yihan Wan, Yunhao Tang
cs.AI
초록
본 논문에서는 멀티모달 오디오 채팅 모델인 Voxtral Mini와 Voxtral Small을 소개한다. Voxtral은 음성 오디오와 텍스트 문서를 모두 이해하도록 훈련되었으며, 다양한 오디오 벤치마크에서 최첨단 성능을 달성함과 동시에 강력한 텍스트 처리 능력을 유지한다. Voxtral Small은 여러 폐쇄형 모델을 능가하는 성능을 보이면서도 로컬에서 실행할 수 있을 만큼 경량화되어 있다. 32K 컨텍스트 윈도우를 통해 최대 40분 길이의 오디오 파일과 장기간의 다중 턴 대화를 처리할 수 있다. 또한, 본 연구에서는 지식과 트리비아에 대한 음성 이해 모델 평가를 위한 세 가지 벤치마크를 제안한다. 두 Voxtral 모델은 모두 Apache 2.0 라이선스 하에 공개되었다.
English
We present Voxtral Mini and Voxtral Small, two multimodal audio chat models.
Voxtral is trained to comprehend both spoken audio and text documents,
achieving state-of-the-art performance across a diverse range of audio
benchmarks, while preserving strong text capabilities. Voxtral Small
outperforms a number of closed-source models, while being small enough to run
locally. A 32K context window enables the model to handle audio files up to 40
minutes in duration and long multi-turn conversations. We also contribute three
benchmarks for evaluating speech understanding models on knowledge and trivia.
Both Voxtral models are released under Apache 2.0 license.