AISafetyLab: Um Framework Abrangente para Avaliação e Melhoria da Segurança da IA

AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement

February 24, 2025

Autores: Zhexin Zhang, Leqi Lei, Junxiao Yang, Xijie Huang, Yida Lu, Shiyao Cui, Renmiao Chen, Qinglin Zhang, Xinyuan Wang, Hao Wang, Hao Li, Xianqi Lei, Chengwei Pan, Lei Sha, Hongning Wang, Minlie Huang

cs.AI

Resumo

À medida que os modelos de IA são cada vez mais implementados em diversos cenários do mundo real, garantir sua segurança continua sendo um desafio crítico, porém pouco explorado. Embora tenham sido feitos esforços substanciais para avaliar e aprimorar a segurança da IA, a falta de um framework padronizado e de um conjunto abrangente de ferramentas representa obstáculos significativos para a pesquisa sistemática e a adoção prática. Para preencher essa lacuna, apresentamos o AISafetyLab, um framework unificado e um conjunto de ferramentas que integra metodologias representativas de ataque, defesa e avaliação para a segurança da IA. O AISafetyLab apresenta uma interface intuitiva que permite aos desenvolvedores aplicar diversas técnicas de forma contínua, mantendo um código bem estruturado e extensível para futuros avanços. Além disso, realizamos estudos empíricos no Vicuna, analisando diferentes estratégias de ataque e defesa para fornecer insights valiosos sobre sua eficácia comparativa. Para facilitar a pesquisa e o desenvolvimento contínuo na segurança da IA, o AISafetyLab está disponível publicamente em https://github.com/thu-coai/AISafetyLab, e estamos comprometidos com sua manutenção e aprimoramento contínuos.

English

As AI models are increasingly deployed across diverse real-world scenarios, ensuring their safety remains a critical yet underexplored challenge. While substantial efforts have been made to evaluate and enhance AI safety, the lack of a standardized framework and comprehensive toolkit poses significant obstacles to systematic research and practical adoption. To bridge this gap, we introduce AISafetyLab, a unified framework and toolkit that integrates representative attack, defense, and evaluation methodologies for AI safety. AISafetyLab features an intuitive interface that enables developers to seamlessly apply various techniques while maintaining a well-structured and extensible codebase for future advancements. Additionally, we conduct empirical studies on Vicuna, analyzing different attack and defense strategies to provide valuable insights into their comparative effectiveness. To facilitate ongoing research and development in AI safety, AISafetyLab is publicly available at https://github.com/thu-coai/AISafetyLab, and we are committed to its continuous maintenance and improvement.