DeepSight: Универсальный инструментарий для обеспечения безопасности языковых моделей
DeepSight: An All-in-One LM Safety Toolkit
February 12, 2026
Авторы: Bo Zhang, Jiaxuan Guo, Lijun Li, Dongrui Liu, Sujin Chen, Guanxu Chen, Zhijie Zheng, Qihao Lin, Lewen Yan, Chen Qian, Yijin Zhou, Yuyao Wu, Shaoxiong Guo, Tianyi Du, Jingyi Yang, Xuhao Hu, Ziqi Miao, Xiaoya Lu, Jing Shao, Xia Hu
cs.AI
Аннотация
По мере стремительного развития больших моделей (LMs) их безопасность также становится приоритетной задачей. В современных процессах обеспечения безопасности больших языковых моделей (LLMs) и мультимодальных больших языковых моделей (MLLMs) оценка, диагностика и согласование часто выполняются разрозненными инструментами. В частности, оценка безопасности позволяет выявить лишь внешние поведенческие риски, но не способна определить их внутренние корневые причины. В то же время диагностика безопасности часто отрывается от конкретных сценариев риска и остается на уровне объяснимых характеристик. Таким образом, согласование безопасности лишено целенаправленного анализа изменений внутренних механизмов, что потенциально может приводить к деградации общих способностей моделей. Для системного решения этих проблем мы предлагаем проект с открытым исходным кодом DeepSight, реализующий новую интегрированную парадигму оценки и диагностики безопасности. DeepSight — это масштабируемый, воспроизводимый и эффективный проект оценки безопасности больших моделей с низкими затратами, состоящий из набора инструментов оценки DeepSafe и диагностики DeepScan. Унифицируя протоколы задач и данных, мы устанавливаем связь между двумя этапами и преобразуем оценку безопасности из черного ящика в прозрачный анализ. Кроме того, DeepSight является первым набором инструментов с открытым исходным кодом, поддерживающим оценку передовых рисков ИИ и совместную оценку и диагностику безопасности.
English
As the development of Large Models (LMs) progresses rapidly, their safety is also a priority. In current Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) safety workflow, evaluation, diagnosis, and alignment are often handled by separate tools. Specifically, safety evaluation can only locate external behavioral risks but cannot figure out internal root causes. Meanwhile, safety diagnosis often drifts from concrete risk scenarios and remains at the explainable level. In this way, safety alignment lack dedicated explanations of changes in internal mechanisms, potentially degrading general capabilities. To systematically address these issues, we propose an open-source project, namely DeepSight, to practice a new safety evaluation-diagnosis integrated paradigm. DeepSight is low-cost, reproducible, efficient, and highly scalable large-scale model safety evaluation project consisting of a evaluation toolkit DeepSafe and a diagnosis toolkit DeepScan. By unifying task and data protocols, we build a connection between the two stages and transform safety evaluation from black-box to white-box insight. Besides, DeepSight is the first open source toolkit that support the frontier AI risk evaluation and joint safety evaluation and diagnosis.