TeleChat Technischer Bericht

TeleChat Technical Report

January 8, 2024

Autoren: Zihan Wang, Xinzhang Liu, Shixuan Liu, Yitong Yao, Yuyao Huang, Zhongjiang He, Xuelong Li, Yongxiang Li, Zhonghao Che, Zhaoxi Zhang, Yan Wang, Xin Wang, Luwen Pu, Huihan Xu, Ruiyu Fang, Yu Zhao, Jie Zhang, Xiaomeng Huang, Zhilong Lu, Jiaxin Peng, Wenjun Zheng, Shiquan Wang, Bingkai Yang, Xuewei he, Zhuoru Jiang, Qiyi Xie, Yanhan Zhang, Zhongqiu Li, Lingling Shi, Weiwei Fu, Yin Zhang, Zilu Huang, Sishi Xiong, Yuxiang Zhang, Chao Wang, Shuangyong Song

cs.AI

Zusammenfassung

In diesem technischen Bericht präsentieren wir TeleChat, eine Sammlung von großen Sprachmodellen (LLMs) mit 3 Milliarden, 7 Milliarden und 12 Milliarden Parametern. Es umfasst vortrainierte Sprachmodelle sowie feinabgestimmte Chat-Modelle, die an menschliche Präferenzen angepasst sind. TeleChat wird zunächst auf einem umfangreichen Korpus vortrainiert, der eine vielfältige Sammlung von Texten sowohl in englischer als auch in chinesischer Sprache enthält, darunter Billionen von Tokens. Anschließend wird das Modell feinabgestimmt, um es an menschliche Präferenzen anzupassen, wobei wir eine detaillierte Methodik beschreiben. Wir bewerten die Leistung von TeleChat in verschiedenen Aufgabenbereichen, darunter Sprachverständnis, Mathematik, logisches Denken, Code-Generierung und wissensbasierte Fragebeantwortung. Unsere Ergebnisse zeigen, dass TeleChat eine vergleichbare Leistung zu anderen Open-Source-Modellen ähnlicher Größe über eine breite Palette von öffentlichen Benchmarks erreicht. Um zukünftige Forschung und Anwendungen, die LLMs nutzen, zu unterstützen, veröffentlichen wir die feinabgestimmten Modell-Checkpoints der 7B- und 12B-Varianten von TeleChat, zusammen mit Code und einem Teil unserer Vortrainingsdaten, für die öffentliche Gemeinschaft.

English

In this technical report, we present TeleChat, a collection of large language models (LLMs) with parameters of 3 billion, 7 billion and 12 billion. It includes pretrained language models as well as fine-tuned chat models that is aligned with human preferences. TeleChat is initially pretrained on an extensive corpus containing a diverse collection of texts from both English and Chinese languages, including trillions of tokens. Subsequently, the model undergoes fine-tuning to align with human preferences, following a detailed methodology that we describe. We evaluate the performance of TeleChat on various tasks, including language understanding, mathematics, reasoning, code generation, and knowledge-based question answering. Our findings indicate that TeleChat achieves comparable performance to other open-source models of similar size across a wide range of public benchmarks. To support future research and applications utilizing LLMs, we release the fine-tuned model checkpoints of TeleChat's 7B and 12B variant, along with code and a portion of our pretraining data, to the public community.