InternLM2 기술 보고서

InternLM2 Technical Report

March 26, 2024

저자: Zheng Cai, Maosong Cao, Haojiong Chen, Kai Chen, Keyu Chen, Xin Chen, Xun Chen, Zehui Chen, Zhi Chen, Pei Chu, Xiaoyi Dong, Haodong Duan, Qi Fan, Zhaoye Fei, Yang Gao, Jiaye Ge, Chenya Gu, Yuzhe Gu, Tao Gui, Aijia Guo, Qipeng Guo, Conghui He, Yingfan Hu, Ting Huang, Tao Jiang, Penglong Jiao, Zhenjiang Jin, Zhikai Lei, Jiaxing Li, Jingwen Li, Linyang Li, Shuaibin Li, Wei Li, Yining Li, Hongwei Liu, Jiangning Liu, Jiawei Hong, Kaiwen Liu, Kuikun Liu, Xiaoran Liu, Chengqi Lv, Haijun Lv, Kai Lv, Li Ma, Runyuan Ma, Zerun Ma, Wenchang Ning, Linke Ouyang, Jiantao Qiu, Yuan Qu, Fukai Shang, Yunfan Shao, Demin Song, Zifan Song, Zhihao Sui, Peng Sun, Yu Sun, Huanze Tang, Bin Wang, Guoteng Wang, Jiaqi Wang, Jiayu Wang, Rui Wang, Yudong Wang, Ziyi Wang, Xingjian Wei, Qizhen Weng, Fan Wu, Yingtong Xiong, Chao Xu, Ruiliang Xu, Hang Yan, Yirong Yan, Xiaogui Yang, Haochen Ye, Huaiyuan Ying, Jia Yu, Jing Yu, Yuhang Zang, Chuyu Zhang, Li Zhang, Pan Zhang, Peng Zhang, Ruijie Zhang, Shuo Zhang, Songyang Zhang, Wenjian Zhang, Wenwei Zhang, Xingcheng Zhang, Xinyue Zhang, Hui Zhao, Qian Zhao, Xiaomeng Zhao, Fengzhe Zhou, Zaida Zhou, Jingming Zhuo, Yicheng Zou, Xipeng Qiu, Yu Qiao, Dahua Lin

cs.AI

초록

ChatGPT와 GPT-4와 같은 대형 언어 모델(LLM)의 진화는 인공 일반 지능(AGI)의 도래에 대한 논의를 촉발시켰습니다. 그러나 이러한 발전을 오픈소스 모델에서 재현하는 것은 어려운 과제였습니다. 본 논문은 혁신적인 사전 학습 및 최적화 기법을 통해 6개 차원과 30개 벤치마크, 장문 맥락 모델링, 그리고 개방형 주관적 평가에서 선행 모델들을 능가하는 오픈소스 LLM인 InternLM2를 소개합니다. InternLM2의 사전 학습 과정은 텍스트, 코드, 장문 맥락 데이터를 포함한 다양한 데이터 유형의 준비를 상세히 설명합니다. InternLM2는 장기 의존성을 효과적으로 포착하며, 초기에는 4k 토큰으로 학습한 후 사전 학습 및 미세 조정 단계에서 32k 토큰으로 확장되어, 200k "Needle-in-a-Haystack" 테스트에서 뛰어난 성능을 보여줍니다. InternLM2는 지도 미세 조정(SFT)과 상충되는 인간 선호도와 보장 해킹 문제를 해결하는 새로운 조건부 온라인 인간 피드백 강화 학습(COOL RLHF) 전략을 통해 추가로 정렬됩니다. 다양한 학습 단계와 모델 크기의 InternLM2 모델을 공개함으로써, 우리는 커뮤니티에 모델의 진화에 대한 통찰을 제공합니다.

English

The evolution of Large Language Models (LLMs) like ChatGPT and GPT-4 has sparked discussions on the advent of Artificial General Intelligence (AGI). However, replicating such advancements in open-source models has been challenging. This paper introduces InternLM2, an open-source LLM that outperforms its predecessors in comprehensive evaluations across 6 dimensions and 30 benchmarks, long-context modeling, and open-ended subjective evaluations through innovative pre-training and optimization techniques. The pre-training process of InternLM2 is meticulously detailed, highlighting the preparation of diverse data types including text, code, and long-context data. InternLM2 efficiently captures long-term dependencies, initially trained on 4k tokens before advancing to 32k tokens in pre-training and fine-tuning stages, exhibiting remarkable performance on the 200k ``Needle-in-a-Haystack" test. InternLM2 is further aligned using Supervised Fine-Tuning (SFT) and a novel Conditional Online Reinforcement Learning from Human Feedback (COOL RLHF) strategy that addresses conflicting human preferences and reward hacking. By releasing InternLM2 models in different training stages and model sizes, we provide the community with insights into the model's evolution.