AISafetyLab : Un cadre complet pour l'évaluation et l'amélioration de la sécurité des systèmes d'intelligence artificielle

AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement

February 24, 2025

Auteurs: Zhexin Zhang, Leqi Lei, Junxiao Yang, Xijie Huang, Yida Lu, Shiyao Cui, Renmiao Chen, Qinglin Zhang, Xinyuan Wang, Hao Wang, Hao Li, Xianqi Lei, Chengwei Pan, Lei Sha, Hongning Wang, Minlie Huang

cs.AI

Résumé

Alors que les modèles d'IA sont de plus en plus déployés dans divers scénarios réels, garantir leur sécurité reste un défi crucial mais encore peu exploré. Bien que des efforts substantiels aient été consacrés à l'évaluation et à l'amélioration de la sécurité de l'IA, l'absence d'un cadre standardisé et d'une boîte à outils complète constitue un obstacle majeur à la recherche systématique et à l'adoption pratique. Pour combler cette lacune, nous présentons AISafetyLab, un cadre unifié et une boîte à outils qui intègrent des méthodologies représentatives d'attaque, de défense et d'évaluation pour la sécurité de l'IA. AISafetyLab propose une interface intuitive permettant aux développeurs d'appliquer diverses techniques de manière fluide, tout en maintenant une base de code bien structurée et extensible pour les avancées futures. De plus, nous menons des études empiriques sur Vicuna, analysant différentes stratégies d'attaque et de défense afin de fournir des insights précieux sur leur efficacité comparative. Pour favoriser la recherche et le développement continus en matière de sécurité de l'IA, AISafetyLab est accessible publiquement à l'adresse https://github.com/thu-coai/AISafetyLab, et nous nous engageons à sa maintenance et à son amélioration continues.

English

As AI models are increasingly deployed across diverse real-world scenarios, ensuring their safety remains a critical yet underexplored challenge. While substantial efforts have been made to evaluate and enhance AI safety, the lack of a standardized framework and comprehensive toolkit poses significant obstacles to systematic research and practical adoption. To bridge this gap, we introduce AISafetyLab, a unified framework and toolkit that integrates representative attack, defense, and evaluation methodologies for AI safety. AISafetyLab features an intuitive interface that enables developers to seamlessly apply various techniques while maintaining a well-structured and extensible codebase for future advancements. Additionally, we conduct empirical studies on Vicuna, analyzing different attack and defense strategies to provide valuable insights into their comparative effectiveness. To facilitate ongoing research and development in AI safety, AISafetyLab is publicly available at https://github.com/thu-coai/AISafetyLab, and we are committed to its continuous maintenance and improvement.