Phi-3 Sécurité Post-Entraînement : Alignement des Modèles de Langage avec un Cycle de "Casse-Réparation"

Phi-3 Safety Post-Training: Aligning Language Models with a "Break-Fix" Cycle

July 18, 2024

Auteurs: Emman Haider, Daniel Perez-Becker, Thomas Portet, Piyush Madan, Amit Garg, David Majercak, Wen Wen, Dongwoo Kim, Ziyi Yang, Jianwen Zhang, Hiteshi Sharma, Blake Bullwinkel, Martin Pouliot, Amanda Minnich, Shiven Chawla, Solianna Herrera, Shahed Warreth, Maggie Engler, Gary Lopez, Nina Chikanov, Raja Sekhar Rao Dheekonda, Bolor-Erdene Jagdagdorj, Roman Lutz, Richard Lundeen, Tori Westerhoff, Pete Bryan, Christian Seifert, Ram Shankar Siva Kumar, Andrew Berkley, Alex Kessler

cs.AI

Résumé

Les récentes innovations dans l'entraînement des modèles de langage ont démontré qu'il est possible de créer des modèles très performants et suffisamment compacts pour fonctionner sur un smartphone. Alors que ces modèles sont déployés dans un nombre croissant de domaines, il est crucial de s'assurer qu'ils sont alignés avec les préférences humaines et les considérations de sécurité. Dans ce rapport, nous présentons notre méthodologie pour aligner la série de modèles de langage Phi-3 sur des critères de sécurité. Nous avons utilisé un cycle "casser-réparer", en effectuant plusieurs itérations de curation de jeux de données, de post-entraînement axé sur la sécurité, d'évaluation comparative, de tests par équipe rouge et d'identification des vulnérabilités pour couvrir divers domaines de préjudice dans des scénarios à tour unique et à tours multiples. Nos résultats indiquent que cette approche a permis d'améliorer itérativement les performances des modèles Phi-3 sur un large éventail de benchmarks d'IA responsable.

English

Recent innovations in language model training have demonstrated that it is possible to create highly performant models that are small enough to run on a smartphone. As these models are deployed in an increasing number of domains, it is critical to ensure that they are aligned with human preferences and safety considerations. In this report, we present our methodology for safety aligning the Phi-3 series of language models. We utilized a "break-fix" cycle, performing multiple rounds of dataset curation, safety post-training, benchmarking, red teaming, and vulnerability identification to cover a variety of harm areas in both single and multi-turn scenarios. Our results indicate that this approach iteratively improved the performance of the Phi-3 models across a wide range of responsible AI benchmarks.