Qwen2 Technischer Bericht

Qwen2 Technical Report

July 15, 2024

Autoren: An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, Guanting Dong, Haoran Wei, Huan Lin, Jialong Tang, Jialin Wang, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Ma, Jin Xu, Jingren Zhou, Jinze Bai, Jinzheng He, Junyang Lin, Kai Dang, Keming Lu, Keqin Chen, Kexin Yang, Mei Li, Mingfeng Xue, Na Ni, Pei Zhang, Peng Wang, Ru Peng, Rui Men, Ruize Gao, Runji Lin, Shijie Wang, Shuai Bai, Sinan Tan, Tianhang Zhu, Tianhao Li, Tianyu Liu, Wenbin Ge, Xiaodong Deng, Xiaohuan Zhou, Xingzhang Ren, Xinyu Zhang, Xipin Wei, Xuancheng Ren, Yang Fan, Yang Yao, Yichang Zhang, Yu Wan, Yunfei Chu, Zeyu Cui, Zhenru Zhang, Zhihao Fan

cs.AI

Zusammenfassung

Dieser Bericht stellt die Qwen2-Serie vor, die neueste Ergänzung zu unseren großen Sprachmodellen und großen multimodalen Modellen. Wir veröffentlichen eine umfassende Reihe von grundlegenden und anweisungsgesteuerten Sprachmodellen, die einen Parameterbereich von 0,5 bis 72 Milliarden umfassen und dichte Modelle sowie ein Mixture-of-Experts-Modell umfassen. Qwen2 übertrifft die meisten früheren Open-Weight-Modelle, einschließlich seines Vorgängers Qwen1.5, und zeigt eine wettbewerbsfähige Leistung im Vergleich zu proprietären Modellen in verschiedenen Benchmarks für Sprachverständnis, Generierung, mehrsprachige Kompetenz, Codierung, Mathematik und Argumentation. Das Flaggschiff-Modell, Qwen2-72B, zeigt bemerkenswerte Leistungen: 84,2 bei MMLU, 37,9 bei GPQA, 64,6 bei HumanEval, 89,5 bei GSM8K und 82,4 bei BBH als Basissprachmodell. Die anweisungsgesteuerte Variante, Qwen2-72B-Instruct, erreicht 9,1 bei MT-Bench, 48,1 bei Arena-Hard und 35,7 bei LiveCodeBench. Darüber hinaus zeigt Qwen2 robuste mehrsprachige Fähigkeiten, ist in etwa 30 Sprachen versiert, darunter Englisch, Chinesisch, Spanisch, Französisch, Deutsch, Arabisch, Russisch, Koreanisch, Japanisch, Thailändisch, Vietnamesisch und mehr, was seine Vielseitigkeit und globale Reichweite unterstreicht. Um Innovation und Zugänglichkeit in der Community zu fördern, haben wir die Qwen2-Modellgewichte offen auf Hugging Face und ModelScope sowie die ergänzenden Materialien einschließlich Beispielcode auf GitHub zur Verfügung gestellt. Diese Plattformen bieten auch Ressourcen für Quantisierung, Feinabstimmung und Bereitstellung, um eine Vielzahl von Anwendungen und Forschungsvorhaben zu erleichtern.

English

This report introduces the Qwen2 series, the latest addition to our large language models and large multimodal models. We release a comprehensive suite of foundational and instruction-tuned language models, encompassing a parameter range from 0.5 to 72 billion, featuring dense models and a Mixture-of-Experts model. Qwen2 surpasses most prior open-weight models, including its predecessor Qwen1.5, and exhibits competitive performance relative to proprietary models across diverse benchmarks on language understanding, generation, multilingual proficiency, coding, mathematics, and reasoning. The flagship model, Qwen2-72B, showcases remarkable performance: 84.2 on MMLU, 37.9 on GPQA, 64.6 on HumanEval, 89.5 on GSM8K, and 82.4 on BBH as a base language model. The instruction-tuned variant, Qwen2-72B-Instruct, attains 9.1 on MT-Bench, 48.1 on Arena-Hard, and 35.7 on LiveCodeBench. Moreover, Qwen2 demonstrates robust multilingual capabilities, proficient in approximately 30 languages, spanning English, Chinese, Spanish, French, German, Arabic, Russian, Korean, Japanese, Thai, Vietnamese, and more, underscoring its versatility and global reach. To foster community innovation and accessibility, we have made the Qwen2 model weights openly available on Hugging Face1 and ModelScope2, and the supplementary materials including example code on GitHub3. These platforms also include resources for quantization, fine-tuning, and deployment, facilitating a wide range of applications and research endeavors.