DeepSight: Un Toolkit Completo per la Sicurezza dei Modelli Linguistici
DeepSight: An All-in-One LM Safety Toolkit
February 12, 2026
Autori: Bo Zhang, Jiaxuan Guo, Lijun Li, Dongrui Liu, Sujin Chen, Guanxu Chen, Zhijie Zheng, Qihao Lin, Lewen Yan, Chen Qian, Yijin Zhou, Yuyao Wu, Shaoxiong Guo, Tianyi Du, Jingyi Yang, Xuhao Hu, Ziqi Miao, Xiaoya Lu, Jing Shao, Xia Hu
cs.AI
Abstract
Con il rapido progresso dei modelli di grandi dimensioni (LM), la loro sicurezza è diventata una priorità assoluta. Nell’attuale flusso di lavoro per la sicurezza dei Large Language Model (LLM) e dei Multimodal Large Language Model (MLLM), valutazione, diagnosi e allineamento sono spesso gestiti da strumenti separati. Nello specifico, la valutazione della sicurezza può solo individuare rischi comportamentali esterni, ma non è in grado di identificare le cause profonde interne. Allo stesso tempo, la diagnosi di sicurezza spesso si discosta da scenari di rischio concreti e rimane a un livello puramente esplicativo. In questo modo, l’allineamento della sicurezza manca di spiegazioni dettagliate sui cambiamenti nei meccanismi interni, rischiando di compromettere le capacità generali del modello. Per affrontare sistematicamente queste problematiche, proponiamo un progetto open-source, denominato DeepSight, per implementare un nuovo paradigma integrato di valutazione e diagnosi della sicurezza. DeepSight è un progetto di valutazione della sicurezza per modelli di grandi dimensioni a basso costo, riproducibile, efficiente e altamente scalabile, composto da uno strumento di valutazione (DeepSafe) e uno di diagnosi (DeepScan). Unificando protocolli di attività e dati, stabiliamo una connessione tra le due fasi e trasformiamo la valutazione della sicurezza da un’analisi in black-box a una in white-box. Inoltre, DeepSight è il primo toolkit open-source a supportare la valutazione dei rischi dell’IA di frontiera e l’integrazione tra valutazione e diagnosi della sicurezza.
English
As the development of Large Models (LMs) progresses rapidly, their safety is also a priority. In current Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) safety workflow, evaluation, diagnosis, and alignment are often handled by separate tools. Specifically, safety evaluation can only locate external behavioral risks but cannot figure out internal root causes. Meanwhile, safety diagnosis often drifts from concrete risk scenarios and remains at the explainable level. In this way, safety alignment lack dedicated explanations of changes in internal mechanisms, potentially degrading general capabilities. To systematically address these issues, we propose an open-source project, namely DeepSight, to practice a new safety evaluation-diagnosis integrated paradigm. DeepSight is low-cost, reproducible, efficient, and highly scalable large-scale model safety evaluation project consisting of a evaluation toolkit DeepSafe and a diagnosis toolkit DeepScan. By unifying task and data protocols, we build a connection between the two stages and transform safety evaluation from black-box to white-box insight. Besides, DeepSight is the first open source toolkit that support the frontier AI risk evaluation and joint safety evaluation and diagnosis.