Relatório Técnico do TeleChat

TeleChat Technical Report

January 8, 2024

Autores: Zihan Wang, Xinzhang Liu, Shixuan Liu, Yitong Yao, Yuyao Huang, Zhongjiang He, Xuelong Li, Yongxiang Li, Zhonghao Che, Zhaoxi Zhang, Yan Wang, Xin Wang, Luwen Pu, Huihan Xu, Ruiyu Fang, Yu Zhao, Jie Zhang, Xiaomeng Huang, Zhilong Lu, Jiaxin Peng, Wenjun Zheng, Shiquan Wang, Bingkai Yang, Xuewei he, Zhuoru Jiang, Qiyi Xie, Yanhan Zhang, Zhongqiu Li, Lingling Shi, Weiwei Fu, Yin Zhang, Zilu Huang, Sishi Xiong, Yuxiang Zhang, Chao Wang, Shuangyong Song

cs.AI

Resumo

Neste relatório técnico, apresentamos o TeleChat, uma coleção de modelos de linguagem de grande escala (LLMs) com parâmetros de 3 bilhões, 7 bilhões e 12 bilhões. Ele inclui modelos de linguagem pré-treinados, bem como modelos de chat ajustados que estão alinhados com as preferências humanas. O TeleChat é inicialmente pré-treinado em um extenso corpus contendo uma diversificada coleção de textos em inglês e chinês, incluindo trilhões de tokens. Posteriormente, o modelo passa por um ajuste fino para se alinhar às preferências humanas, seguindo uma metodologia detalhada que descrevemos. Avaliamos o desempenho do TeleChat em várias tarefas, incluindo compreensão de linguagem, matemática, raciocínio, geração de código e respostas a perguntas baseadas em conhecimento. Nossos resultados indicam que o TeleChat alcança um desempenho comparável a outros modelos de código aberto de tamanho similar em uma ampla gama de benchmarks públicos. Para apoiar pesquisas e aplicações futuras que utilizam LLMs, disponibilizamos para a comunidade pública os checkpoints dos modelos ajustados das variantes de 7B e 12B do TeleChat, juntamente com o código e uma parte dos nossos dados de pré-treinamento.

English

In this technical report, we present TeleChat, a collection of large language models (LLMs) with parameters of 3 billion, 7 billion and 12 billion. It includes pretrained language models as well as fine-tuned chat models that is aligned with human preferences. TeleChat is initially pretrained on an extensive corpus containing a diverse collection of texts from both English and Chinese languages, including trillions of tokens. Subsequently, the model undergoes fine-tuning to align with human preferences, following a detailed methodology that we describe. We evaluate the performance of TeleChat on various tasks, including language understanding, mathematics, reasoning, code generation, and knowledge-based question answering. Our findings indicate that TeleChat achieves comparable performance to other open-source models of similar size across a wide range of public benchmarks. To support future research and applications utilizing LLMs, we release the fine-tuned model checkpoints of TeleChat's 7B and 12B variant, along with code and a portion of our pretraining data, to the public community.