Технический отчет по TeleChat

TeleChat Technical Report

January 8, 2024

Авторы: Zihan Wang, Xinzhang Liu, Shixuan Liu, Yitong Yao, Yuyao Huang, Zhongjiang He, Xuelong Li, Yongxiang Li, Zhonghao Che, Zhaoxi Zhang, Yan Wang, Xin Wang, Luwen Pu, Huihan Xu, Ruiyu Fang, Yu Zhao, Jie Zhang, Xiaomeng Huang, Zhilong Lu, Jiaxin Peng, Wenjun Zheng, Shiquan Wang, Bingkai Yang, Xuewei he, Zhuoru Jiang, Qiyi Xie, Yanhan Zhang, Zhongqiu Li, Lingling Shi, Weiwei Fu, Yin Zhang, Zilu Huang, Sishi Xiong, Yuxiang Zhang, Chao Wang, Shuangyong Song

cs.AI

Аннотация

В данном техническом отчете мы представляем TeleChat — набор крупных языковых моделей (LLM) с параметрами 3 миллиарда, 7 миллиардов и 12 миллиардов. Он включает предобученные языковые модели, а также дообученные чат-модели, согласованные с человеческими предпочтениями. TeleChat изначально предобучается на обширном корпусе, содержащем разнообразные тексты на английском и китайском языках, включая триллионы токенов. Впоследствии модель проходит дообучение для согласования с человеческими предпочтениями, следуя детально описанной методологии. Мы оцениваем производительность TeleChat на различных задачах, включая понимание языка, математику, логическое мышление, генерацию кода и ответы на вопросы, основанные на знаниях. Наши результаты показывают, что TeleChat демонстрирует сопоставимую производительность с другими открытыми моделями аналогичного размера на широком спектре публичных бенчмарков. Для поддержки будущих исследований и приложений, использующих LLM, мы публикуем для сообщества контрольные точки дообученных моделей TeleChat с параметрами 7B и 12B, а также код и часть наших данных предобучения.

English

In this technical report, we present TeleChat, a collection of large language models (LLMs) with parameters of 3 billion, 7 billion and 12 billion. It includes pretrained language models as well as fine-tuned chat models that is aligned with human preferences. TeleChat is initially pretrained on an extensive corpus containing a diverse collection of texts from both English and Chinese languages, including trillions of tokens. Subsequently, the model undergoes fine-tuning to align with human preferences, following a detailed methodology that we describe. We evaluate the performance of TeleChat on various tasks, including language understanding, mathematics, reasoning, code generation, and knowledge-based question answering. Our findings indicate that TeleChat achieves comparable performance to other open-source models of similar size across a wide range of public benchmarks. To support future research and applications utilizing LLMs, we release the fine-tuned model checkpoints of TeleChat's 7B and 12B variant, along with code and a portion of our pretraining data, to the public community.