Phi-3 Technischer Bericht: Ein hochleistungsfähiges Sprachmodell lokal auf Ihrem Telefon

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

April 22, 2024

Autoren: Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, Jyoti Aneja, Ahmed Awadallah, Hany Awadalla, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Harkirat Behl, Alon Benhaim, Misha Bilenko, Johan Bjorck, Sébastien Bubeck, Martin Cai, Caio César Teodoro Mendes, Weizhu Chen, Vishrav Chaudhary, Parul Chopra, Allie Del Giorno, Gustavo de Rosa, Matthew Dixon, Ronen Eldan, Dan Iter, Abhishek Goswami, Suriya Gunasekar, Emman Haider, Junheng Hao, Russell J. Hewett, Jamie Huynh, Mojan Javaheripi, Xin Jin, Piero Kauffmann, Nikos Karampatziakis, Dongwoo Kim, Mahoud Khademi, Lev Kurilenko, James R. Lee, Yin Tat Lee, Yuanzhi Li, Chen Liang, Weishung Liu, Eric Lin, Zeqi Lin, Piyush Madan, Arindam Mitra, Hardik Modi, Anh Nguyen, Brandon Norick, Barun Patra, Daniel Perez-Becker, Thomas Portet, Reid Pryzant, Heyang Qin, Marko Radmilac, Corby Rosset, Sambudha Roy, Olli Saarikivi, Amin Saied, Adil Salim, Michael Santacroce, Shital Shah, Ning Shang, Hiteshi Sharma, Xia Song, Olatunji Ruwase, Xin Wang, Rachel Ward, Guanhua Wang, Philipp Witte, Michael Wyatt, Can Xu, Jiahang Xu, Sonali Yadav, Fan Yang, Ziyi Yang, Donghan Yu, Chengruidong Zhang, Cyril Zhang, Jianwen Zhang, Li Lyna Zhang, Yi Zhang, Yunan Zhang, Xiren Zhou

cs.AI

Zusammenfassung

Wir stellen phi-3-mini vor, ein Sprachmodell mit 3,8 Milliarden Parametern, das auf 3,3 Billionen Tokens trainiert wurde. Seine Gesamtleistung, gemessen an akademischen Benchmarks und internen Tests, steht in Konkurrenz zu Modellen wie Mixtral 8x7B und GPT-3.5 (zum Beispiel erreicht phi-3-mini 69% bei MMLU und 8,38 bei MT-bench), obwohl es klein genug ist, um auf einem Telefon eingesetzt zu werden. Die Innovation liegt ausschließlich in unserem Datensatz für das Training, einer hochskalierten Version des für phi-2 verwendeten Datensatzes, der aus stark gefilterten Webdaten und synthetischen Daten besteht. Das Modell ist auch weiterhin auf Robustheit, Sicherheit und Chat-Format ausgerichtet. Wir präsentieren auch einige erste Ergebnisse zur Skalierung der Parameter mit Modellen von 7B und 14B, die auf 4,8 Billionen Tokens trainiert wurden, genannt phi-3-small und phi-3-medium, die beide deutlich leistungsfähiger sind als phi-3-mini (zum Beispiel jeweils 75% und 78% bei MMLU und 8,7 und 8,9 bei MT-bench).

English

We introduce phi-3-mini, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (e.g., phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. The innovation lies entirely in our dataset for training, a scaled-up version of the one used for phi-2, composed of heavily filtered web data and synthetic data. The model is also further aligned for robustness, safety, and chat format. We also provide some initial parameter-scaling results with a 7B and 14B models trained for 4.8T tokens, called phi-3-small and phi-3-medium, both significantly more capable than phi-3-mini (e.g., respectively 75% and 78% on MMLU, and 8.7 and 8.9 on MT-bench).