AISafetyLab: Un Marco Integral para la Evaluación y Mejora de la Seguridad en IA

AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement

February 24, 2025

Autores: Zhexin Zhang, Leqi Lei, Junxiao Yang, Xijie Huang, Yida Lu, Shiyao Cui, Renmiao Chen, Qinglin Zhang, Xinyuan Wang, Hao Wang, Hao Li, Xianqi Lei, Chengwei Pan, Lei Sha, Hongning Wang, Minlie Huang

cs.AI

Resumen

A medida que los modelos de IA se despliegan cada vez más en diversos escenarios del mundo real, garantizar su seguridad sigue siendo un desafío crítico pero poco explorado. Si bien se han realizado esfuerzos sustanciales para evaluar y mejorar la seguridad de la IA, la falta de un marco estandarizado y un conjunto de herramientas integral plantea obstáculos significativos para la investigación sistemática y la adopción práctica. Para cerrar esta brecha, presentamos AISafetyLab, un marco unificado y un conjunto de herramientas que integra metodologías representativas de ataque, defensa y evaluación para la seguridad de la IA. AISafetyLab cuenta con una interfaz intuitiva que permite a los desarrolladores aplicar diversas técnicas de manera fluida, manteniendo una base de código bien estructurada y extensible para futuros avances. Además, realizamos estudios empíricos en Vicuna, analizando diferentes estrategias de ataque y defensa para ofrecer información valiosa sobre su efectividad comparativa. Para facilitar la investigación y el desarrollo continuo en seguridad de la IA, AISafetyLab está disponible públicamente en https://github.com/thu-coai/AISafetyLab, y estamos comprometidos con su mantenimiento y mejora continua.

English

As AI models are increasingly deployed across diverse real-world scenarios, ensuring their safety remains a critical yet underexplored challenge. While substantial efforts have been made to evaluate and enhance AI safety, the lack of a standardized framework and comprehensive toolkit poses significant obstacles to systematic research and practical adoption. To bridge this gap, we introduce AISafetyLab, a unified framework and toolkit that integrates representative attack, defense, and evaluation methodologies for AI safety. AISafetyLab features an intuitive interface that enables developers to seamlessly apply various techniques while maintaining a well-structured and extensible codebase for future advancements. Additionally, we conduct empirical studies on Vicuna, analyzing different attack and defense strategies to provide valuable insights into their comparative effectiveness. To facilitate ongoing research and development in AI safety, AISafetyLab is publicly available at https://github.com/thu-coai/AISafetyLab, and we are committed to its continuous maintenance and improvement.