Informe Técnico de Qwen

Qwen Technical Report

September 28, 2023

Autores: Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang Wu, Benfeng Xu, Jin Xu, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, Tianhang Zhu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han revolucionado el campo de la inteligencia artificial, permitiendo tareas de procesamiento de lenguaje natural que antes se consideraban exclusivas de los humanos. En este trabajo, presentamos Qwen, la primera entrega de nuestra serie de modelos de lenguaje de gran escala. Qwen es una serie integral de modelos de lenguaje que abarca modelos distintos con diferentes cantidades de parámetros. Incluye Qwen, los modelos base de lenguaje preentrenados, y Qwen-Chat, los modelos de chat ajustados con técnicas de alineación humana. Los modelos base de lenguaje demuestran consistentemente un rendimiento superior en una multitud de tareas posteriores, y los modelos de chat, especialmente aquellos entrenados utilizando Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés), son altamente competitivos. Los modelos de chat poseen capacidades avanzadas de uso de herramientas y planificación para crear aplicaciones de agentes, mostrando un rendimiento impresionante incluso en comparación con modelos más grandes en tareas complejas como la utilización de un intérprete de código. Además, hemos desarrollado modelos especializados en codificación, Code-Qwen y Code-Qwen-Chat, así como modelos enfocados en matemáticas, Math-Qwen-Chat, que se construyen sobre modelos base de lenguaje. Estos modelos demuestran un rendimiento significativamente mejorado en comparación con los modelos de código abierto, y se sitúan ligeramente por detrás de los modelos propietarios.

English

Large language models (LLMs) have revolutionized the field of artificial intelligence, enabling natural language processing tasks that were previously thought to be exclusive to humans. In this work, we introduce Qwen, the first installment of our large language model series. Qwen is a comprehensive language model series that encompasses distinct models with varying parameter counts. It includes Qwen, the base pretrained language models, and Qwen-Chat, the chat models finetuned with human alignment techniques. The base language models consistently demonstrate superior performance across a multitude of downstream tasks, and the chat models, particularly those trained using Reinforcement Learning from Human Feedback (RLHF), are highly competitive. The chat models possess advanced tool-use and planning capabilities for creating agent applications, showcasing impressive performance even when compared to bigger models on complex tasks like utilizing a code interpreter. Furthermore, we have developed coding-specialized models, Code-Qwen and Code-Qwen-Chat, as well as mathematics-focused models, Math-Qwen-Chat, which are built upon base language models. These models demonstrate significantly improved performance in comparison with open-source models, and slightly fall behind the proprietary models.