Llama 2: 오픈 기반 및 파인튜닝된 채팅 모델
Llama 2: Open Foundation and Fine-Tuned Chat Models
July 18, 2023
저자: Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, Thomas Scialom
cs.AI
초록
본 연구에서는 70억에서 700억 개의 파라미터 규모를 가진 사전 학습 및 미세 조정된 대규모 언어 모델(LLM) 모음인 Llama 2를 개발 및 공개합니다. Llama 2-Chat으로 명명된 우리의 미세 조정된 LLM은 대화형 사용 사례에 최적화되어 있습니다. 우리의 모델은 테스트한 대부분의 벤치마크에서 오픈소스 채팅 모델을 능가하며, 유용성과 안전성에 대한 인간 평가를 기반으로 폐쇄형 모델의 적절한 대체재가 될 수 있습니다. 우리는 Llama 2-Chat의 미세 조정 및 안전성 개선 접근 방식에 대한 상세한 설명을 제공하여 커뮤니티가 우리의 연구를 기반으로 구축하고 LLM의 책임 있는 개발에 기여할 수 있도록 합니다.
English
In this work, we develop and release Llama 2, a collection of pretrained and
fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70
billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for
dialogue use cases. Our models outperform open-source chat models on most
benchmarks we tested, and based on our human evaluations for helpfulness and
safety, may be a suitable substitute for closed-source models. We provide a
detailed description of our approach to fine-tuning and safety improvements of
Llama 2-Chat in order to enable the community to build on our work and
contribute to the responsible development of LLMs.