Rapporto Tecnico di Qwen

Qwen Technical Report

September 28, 2023

Autori: Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang Wu, Benfeng Xu, Jin Xu, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, Tianhang Zhu

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno rivoluzionato il campo dell'intelligenza artificiale, abilitando compiti di elaborazione del linguaggio naturale che in precedenza si ritenevano esclusivi degli esseri umani. In questo lavoro, presentiamo Qwen, il primo capitolo della nostra serie di grandi modelli linguistici. Qwen è una serie completa di modelli linguistici che comprende modelli distinti con un numero variabile di parametri. Include Qwen, i modelli linguistici pre-addestrati di base, e Qwen-Chat, i modelli di chat perfezionati con tecniche di allineamento umano. I modelli linguistici di base dimostrano costantemente prestazioni superiori in una moltitudine di task downstream, mentre i modelli di chat, in particolare quelli addestrati utilizzando il Reinforcement Learning from Human Feedback (RLHF), sono altamente competitivi. I modelli di chat possiedono capacità avanzate di utilizzo di strumenti e pianificazione per la creazione di applicazioni agenti, mostrando prestazioni impressionanti anche rispetto a modelli più grandi in task complessi come l'utilizzo di un interprete di codice. Inoltre, abbiamo sviluppato modelli specializzati nella codifica, Code-Qwen e Code-Qwen-Chat, e modelli focalizzati sulla matematica, Math-Qwen-Chat, costruiti sui modelli linguistici di base. Questi modelli dimostrano prestazioni significativamente migliorate rispetto ai modelli open-source, e si posizionano leggermente dietro ai modelli proprietari.

English

Large language models (LLMs) have revolutionized the field of artificial intelligence, enabling natural language processing tasks that were previously thought to be exclusive to humans. In this work, we introduce Qwen, the first installment of our large language model series. Qwen is a comprehensive language model series that encompasses distinct models with varying parameter counts. It includes Qwen, the base pretrained language models, and Qwen-Chat, the chat models finetuned with human alignment techniques. The base language models consistently demonstrate superior performance across a multitude of downstream tasks, and the chat models, particularly those trained using Reinforcement Learning from Human Feedback (RLHF), are highly competitive. The chat models possess advanced tool-use and planning capabilities for creating agent applications, showcasing impressive performance even when compared to bigger models on complex tasks like utilizing a code interpreter. Furthermore, we have developed coding-specialized models, Code-Qwen and Code-Qwen-Chat, as well as mathematics-focused models, Math-Qwen-Chat, which are built upon base language models. These models demonstrate significantly improved performance in comparison with open-source models, and slightly fall behind the proprietary models.