Phi-3 기술 보고서: 휴대폰에서도 가능한 고성능 언어 모델

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

April 22, 2024

저자: Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, Jyoti Aneja, Ahmed Awadallah, Hany Awadalla, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Harkirat Behl, Alon Benhaim, Misha Bilenko, Johan Bjorck, Sébastien Bubeck, Martin Cai, Caio César Teodoro Mendes, Weizhu Chen, Vishrav Chaudhary, Parul Chopra, Allie Del Giorno, Gustavo de Rosa, Matthew Dixon, Ronen Eldan, Dan Iter, Abhishek Goswami, Suriya Gunasekar, Emman Haider, Junheng Hao, Russell J. Hewett, Jamie Huynh, Mojan Javaheripi, Xin Jin, Piero Kauffmann, Nikos Karampatziakis, Dongwoo Kim, Mahoud Khademi, Lev Kurilenko, James R. Lee, Yin Tat Lee, Yuanzhi Li, Chen Liang, Weishung Liu, Eric Lin, Zeqi Lin, Piyush Madan, Arindam Mitra, Hardik Modi, Anh Nguyen, Brandon Norick, Barun Patra, Daniel Perez-Becker, Thomas Portet, Reid Pryzant, Heyang Qin, Marko Radmilac, Corby Rosset, Sambudha Roy, Olli Saarikivi, Amin Saied, Adil Salim, Michael Santacroce, Shital Shah, Ning Shang, Hiteshi Sharma, Xia Song, Olatunji Ruwase, Xin Wang, Rachel Ward, Guanhua Wang, Philipp Witte, Michael Wyatt, Can Xu, Jiahang Xu, Sonali Yadav, Fan Yang, Ziyi Yang, Donghan Yu, Chengruidong Zhang, Cyril Zhang, Jianwen Zhang, Li Lyna Zhang, Yi Zhang, Yunan Zhang, Xiren Zhou

cs.AI

초록

우리는 3.8억 개의 파라미터를 가진 언어 모델인 phi-3-mini를 소개합니다. 이 모델은 3.3조 개의 토큰으로 학습되었으며, 학계 벤치마크와 내부 테스트를 통해 측정된 전반적인 성능은 Mixtral 8x7B 및 GPT-3.5와 맞먹습니다(예: phi-3-mini는 MMLU에서 69%, MT-bench에서 8.38점을 달성). 이 모델은 휴대폰에 배포할 수 있을 정도로 작으면서도 이러한 성능을 보입니다. 혁신은 전적으로 학습 데이터셋에 있으며, 이는 phi-2에 사용된 데이터셋의 확장 버전으로, 엄격하게 필터링된 웹 데이터와 합성 데이터로 구성됩니다. 또한 이 모델은 견고성, 안전성 및 채팅 형식에 맞추어 추가로 정렬되었습니다. 우리는 또한 4.8조 개의 토큰으로 학습된 7B 및 14B 모델인 phi-3-small과 phi-3-medium의 초기 파라미터 스케일링 결과를 제공합니다. 이 두 모델은 phi-3-mini보다 훨씬 더 뛰어난 성능을 보입니다(예: 각각 MMLU에서 75%와 78%, MT-bench에서 8.7과 8.9점을 달성).

English

We introduce phi-3-mini, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (e.g., phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. The innovation lies entirely in our dataset for training, a scaled-up version of the one used for phi-2, composed of heavily filtered web data and synthetic data. The model is also further aligned for robustness, safety, and chat format. We also provide some initial parameter-scaling results with a 7B and 14B models trained for 4.8T tokens, called phi-3-small and phi-3-medium, both significantly more capable than phi-3-mini (e.g., respectively 75% and 78% on MMLU, and 8.7 and 8.9 on MT-bench).