AISafetyLab：AI安全性評価と改善のための包括的フレームワーク

AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement

February 24, 2025

著者: Zhexin Zhang, Leqi Lei, Junxiao Yang, Xijie Huang, Yida Lu, Shiyao Cui, Renmiao Chen, Qinglin Zhang, Xinyuan Wang, Hao Wang, Hao Li, Xianqi Lei, Chengwei Pan, Lei Sha, Hongning Wang, Minlie Huang

cs.AI

要旨

AIモデルが多様な現実世界のシナリオで展開されるにつれ、その安全性を確保することは依然として重要でありながらも十分に探究されていない課題です。AIの安全性を評価し向上させるための多大な努力がなされているものの、標準化されたフレームワークと包括的なツールキットの欠如が、体系的な研究と実用的な採用に重大な障害をもたらしています。このギャップを埋めるため、我々はAISafetyLabを紹介します。これは、AI安全性のための代表的な攻撃、防御、および評価手法を統合した統一フレームワークとツールキットです。AISafetyLabは、開発者が様々な技術をシームレスに適用できる直感的なインターフェースを備えており、将来の進展に向けて構造化された拡張可能なコードベースを維持します。さらに、我々はVicunaを用いた実証研究を行い、異なる攻撃および防御戦略を分析して、それらの比較的有効性に関する貴重な知見を提供します。AI安全性の継続的な研究と開発を促進するため、AISafetyLabはhttps://github.com/thu-coai/AISafetyLabで公開されており、我々はその継続的なメンテナンスと改善に取り組んでいます。

English

As AI models are increasingly deployed across diverse real-world scenarios, ensuring their safety remains a critical yet underexplored challenge. While substantial efforts have been made to evaluate and enhance AI safety, the lack of a standardized framework and comprehensive toolkit poses significant obstacles to systematic research and practical adoption. To bridge this gap, we introduce AISafetyLab, a unified framework and toolkit that integrates representative attack, defense, and evaluation methodologies for AI safety. AISafetyLab features an intuitive interface that enables developers to seamlessly apply various techniques while maintaining a well-structured and extensible codebase for future advancements. Additionally, we conduct empirical studies on Vicuna, analyzing different attack and defense strategies to provide valuable insights into their comparative effectiveness. To facilitate ongoing research and development in AI safety, AISafetyLab is publicly available at https://github.com/thu-coai/AISafetyLab, and we are committed to its continuous maintenance and improvement.