TeleChat Technisch Rapport

TeleChat Technical Report

January 8, 2024

Auteurs: Zihan Wang, Xinzhang Liu, Shixuan Liu, Yitong Yao, Yuyao Huang, Zhongjiang He, Xuelong Li, Yongxiang Li, Zhonghao Che, Zhaoxi Zhang, Yan Wang, Xin Wang, Luwen Pu, Huihan Xu, Ruiyu Fang, Yu Zhao, Jie Zhang, Xiaomeng Huang, Zhilong Lu, Jiaxin Peng, Wenjun Zheng, Shiquan Wang, Bingkai Yang, Xuewei he, Zhuoru Jiang, Qiyi Xie, Yanhan Zhang, Zhongqiu Li, Lingling Shi, Weiwei Fu, Yin Zhang, Zilu Huang, Sishi Xiong, Yuxiang Zhang, Chao Wang, Shuangyong Song

cs.AI

Samenvatting

In dit technische rapport presenteren we TeleChat, een verzameling van grote taalmodellen (LLMs) met parameters van 3 miljard, 7 miljard en 12 miljard. Het omvat zowel vooraf getrainde taalmodellen als afgestemde chatmodellen die zijn afgestemd op menselijke voorkeuren. TeleChat is aanvankelijk voorgetraind op een uitgebreid corpus dat een diverse verzameling teksten uit zowel het Engels als het Chinees bevat, waaronder biljoenen tokens. Vervolgens wordt het model afgestemd op menselijke voorkeuren, volgens een gedetailleerde methodologie die we beschrijven. We evalueren de prestaties van TeleChat op verschillende taken, waaronder taalbegrip, wiskunde, redeneren, codegeneratie en kennisgebaseerde vraagbeantwoording. Onze bevindingen geven aan dat TeleChat vergelijkbare prestaties behaalt als andere open-source modellen van vergelijkbare grootte op een breed scala aan publieke benchmarks. Om toekomstig onderzoek en toepassingen die gebruikmaken van LLMs te ondersteunen, geven we de afgestemde modelcheckpoints van TeleChat's 7B- en 12B-variant, samen met code en een deel van onze vooraf getrainde data, vrij aan de publieke gemeenschap.

English

In this technical report, we present TeleChat, a collection of large language models (LLMs) with parameters of 3 billion, 7 billion and 12 billion. It includes pretrained language models as well as fine-tuned chat models that is aligned with human preferences. TeleChat is initially pretrained on an extensive corpus containing a diverse collection of texts from both English and Chinese languages, including trillions of tokens. Subsequently, the model undergoes fine-tuning to align with human preferences, following a detailed methodology that we describe. We evaluate the performance of TeleChat on various tasks, including language understanding, mathematics, reasoning, code generation, and knowledge-based question answering. Our findings indicate that TeleChat achieves comparable performance to other open-source models of similar size across a wide range of public benchmarks. To support future research and applications utilizing LLMs, we release the fine-tuned model checkpoints of TeleChat's 7B and 12B variant, along with code and a portion of our pretraining data, to the public community.