DeepSight：オールインワン言語モデル安全性ツールキット

要旨

大規模モデル(LM)の開発が急速に進展する中、その安全性も優先課題となっている。現在の大規模言語モデル(LLM)およびマルチモーダル大規模言語モデル(MLLM)の安全性ワークフローでは、評価、診断、アライメントが個別のツールで処理されることが多い。具体的には、安全性評価は外部の行動リスクを特定することしかできず、内部的な根本原因を把握できない。一方、安全性診断は具体的なリスクシナリオから乖離し、説明可能なレベルに留まることがある。このように、安全性アライメントには内部メカニズムの変化に関する専用の説明が欠如しており、一般能力の低下を招く可能性がある。これらの課題を体系的に解決するため、我々はオープンソースプロジェクト「DeepSight」を提案し、新たな安全性評価・診断統合パラダイムを実践する。DeepSightは、評価ツールキットDeepSafeと診断ツールキットDeepScanで構成される、低コストで再現性が高く効率的、かつ拡張性の高い大規模モデル安全性評価プロジェクトである。タスクとデータプロトコルを統一することで、2つの段階間の連携を構築し、安全性評価をブラックボックスからホワイトボックス洞察へ転換する。さらに、DeepSightは最先端のAIリスク評価と安全性評価・診断の連携をサポートする初のオープンソースツールキットである。

English

As the development of Large Models (LMs) progresses rapidly, their safety is also a priority. In current Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) safety workflow, evaluation, diagnosis, and alignment are often handled by separate tools. Specifically, safety evaluation can only locate external behavioral risks but cannot figure out internal root causes. Meanwhile, safety diagnosis often drifts from concrete risk scenarios and remains at the explainable level. In this way, safety alignment lack dedicated explanations of changes in internal mechanisms, potentially degrading general capabilities. To systematically address these issues, we propose an open-source project, namely DeepSight, to practice a new safety evaluation-diagnosis integrated paradigm. DeepSight is low-cost, reproducible, efficient, and highly scalable large-scale model safety evaluation project consisting of a evaluation toolkit DeepSafe and a diagnosis toolkit DeepScan. By unifying task and data protocols, we build a connection between the two stages and transform safety evaluation from black-box to white-box insight. Besides, DeepSight is the first open source toolkit that support the frontier AI risk evaluation and joint safety evaluation and diagnosis.

DeepSight：オールインワン言語モデル安全性ツールキット

DeepSight: An All-in-One LM Safety Toolkit

要旨

Support