Phi-3 안전성 사후 훈련: "Break-Fix" 사이클을 통한 언어 모델 정렬

Phi-3 Safety Post-Training: Aligning Language Models with a "Break-Fix" Cycle

July 18, 2024

저자: Emman Haider, Daniel Perez-Becker, Thomas Portet, Piyush Madan, Amit Garg, David Majercak, Wen Wen, Dongwoo Kim, Ziyi Yang, Jianwen Zhang, Hiteshi Sharma, Blake Bullwinkel, Martin Pouliot, Amanda Minnich, Shiven Chawla, Solianna Herrera, Shahed Warreth, Maggie Engler, Gary Lopez, Nina Chikanov, Raja Sekhar Rao Dheekonda, Bolor-Erdene Jagdagdorj, Roman Lutz, Richard Lundeen, Tori Westerhoff, Pete Bryan, Christian Seifert, Ram Shankar Siva Kumar, Andrew Berkley, Alex Kessler

cs.AI

초록

최근 언어 모델 훈련 분야의 혁신은 스마트폰에서도 실행 가능할 만큼 작으면서도 높은 성능을 발휘하는 모델을 만드는 것이 가능하다는 것을 입증했습니다. 이러한 모델들이 점점 더 많은 영역에 배포됨에 따라, 이들이 인간의 선호도와 안전 고려사항에 부합하도록 하는 것이 중요해졌습니다. 본 보고서에서는 Phi-3 시리즈 언어 모델의 안전 정렬을 위한 우리의 방법론을 소개합니다. 우리는 "고치기 전에 깨뜨리기" 사이클을 활용하여, 단일 및 다중 턴 시나리오에서 다양한 유해 영역을 커버하기 위해 데이터셋 큐레이션, 안전 사후 훈련, 벤치마킹, 레드 팀 테스트, 취약점 식별을 여러 차례 반복 수행했습니다. 그 결과, 이 접근 방식이 Phi-3 모델의 성능을 다양한 책임감 있는 AI 벤치마크에서 반복적으로 개선시켰음을 확인했습니다.

English

Recent innovations in language model training have demonstrated that it is possible to create highly performant models that are small enough to run on a smartphone. As these models are deployed in an increasing number of domains, it is critical to ensure that they are aligned with human preferences and safety considerations. In this report, we present our methodology for safety aligning the Phi-3 series of language models. We utilized a "break-fix" cycle, performing multiple rounds of dataset curation, safety post-training, benchmarking, red teaming, and vulnerability identification to cover a variety of harm areas in both single and multi-turn scenarios. Our results indicate that this approach iteratively improved the performance of the Phi-3 models across a wide range of responsible AI benchmarks.