LLM（エージェント）フルスタック安全性に関する包括的調査：データ、トレーニング、デプロイメント

A Comprehensive Survey in LLM(-Agent) Full Stack Safety: Data, Training and Deployment

April 22, 2025

著者: Kun Wang, Guibin Zhang, Zhenhong Zhou, Jiahao Wu, Miao Yu, Shiqian Zhao, Chenlong Yin, Jinhu Fu, Yibo Yan, Hanjun Luo, Liang Lin, Zhihao Xu, Haolang Lu, Xinye Cao, Xinyun Zhou, Weifei Jin, Fanci Meng, Junyuan Mao, Hao Wu, Minghe Wang, Fan Zhang, Junfeng Fang, Chengwei Liu, Yifan Zhang, Qiankun Li, Chongye Guo, Yalan Qin, Yi Ding, Donghai Hong, Jiaming Ji, Xinfeng Li, Yifan Jiang, Dongxia Wang, Yihao Huang, Yufei Guo, Jen-tse Huang, Yanwei Yue, Wenke Huang, Guancheng Wan, Tianlin Li, Lei Bai, Jie Zhang, Qing Guo, Jingyi Wang, Tianlong Chen, Joey Tianyi Zhou, Xiaojun Jia, Weisong Sun, Cong Wu, Jing Chen, Xuming Hu, Yiming Li, Xiao Wang, Ningyu Zhang, Luu Anh Tuan, Guowen Xu, Tianwei Zhang, Xingjun Ma, Xiang Wang, Bo An, Jun Sun, Mohit Bansal, Shirui Pan, Yuval Elovici, Bhavya Kailkhura, Bo Li, Yaodong Yang, Hongwei Li, Wenyuan Xu, Yizhou Sun, Wei Wang, Qing Li, Ke Tang, Yu-Gang Jiang, Felix Juefei-Xu, Hui Xiong, Xiaofeng Wang, Shuicheng Yan, Dacheng Tao, Philip S. Yu, Qingsong Wen, Yang Liu

cs.AI

要旨

大規模言語モデル（LLMs）の目覚ましい成功は、学術界と産業界の両方にとって人工汎用知能（AGI）を実現するための有望な道筋を示しており、これは様々なアプリケーションにおける前例のない性能によるものです。LLMsが研究と商業の両分野で重要性を増し続ける中、そのセキュリティと安全性への影響は、研究者や企業だけでなく、各国にとってもますます懸念される問題となっています。現在、既存のLLM安全性に関する調査は、主にLLMライフサイクルの特定の段階、例えば展開段階やファインチューニング段階に焦点を当てており、LLMの「ライフチェーン」全体を包括的に理解するものではありません。このギャップを埋めるため、本論文では初めて「フルスタック」安全性の概念を導入し、LLMのトレーニング、展開、そして最終的な商業化に至る全プロセスにおける安全性問題を体系的に考察します。既存のLLM安全性調査と比較して、我々の研究は以下のような特徴的な利点を示しています：（I）包括的視点。我々はLLMの完全なライフサイクルを、データ準備、事前学習、事後学習、展開、そして最終的な商業化を含むものと定義します。我々の知る限り、これはLLMのライフサイクル全体を網羅する初めての安全性調査です。（II）広範な文献サポート。我々の研究は800以上の論文を徹底的にレビューした上で行われており、より包括的な理解の下でセキュリティ問題を体系的に整理しています。（III）独自の洞察。体系的文献分析を通じて、各章に対して信頼性のあるロードマップと視点を開発しました。我々の研究は、データ生成の安全性、アライメント技術、モデル編集、LLMベースのエージェントシステムなど、有望な研究方向性を特定しています。これらの洞察は、この分野で将来の研究を進める研究者にとって貴重な指針を提供します。

English

The remarkable success of Large Language Models (LLMs) has illuminated a promising pathway toward achieving Artificial General Intelligence for both academic and industrial communities, owing to their unprecedented performance across various applications. As LLMs continue to gain prominence in both research and commercial domains, their security and safety implications have become a growing concern, not only for researchers and corporations but also for every nation. Currently, existing surveys on LLM safety primarily focus on specific stages of the LLM lifecycle, e.g., deployment phase or fine-tuning phase, lacking a comprehensive understanding of the entire "lifechain" of LLMs. To address this gap, this paper introduces, for the first time, the concept of "full-stack" safety to systematically consider safety issues throughout the entire process of LLM training, deployment, and eventual commercialization. Compared to the off-the-shelf LLM safety surveys, our work demonstrates several distinctive advantages: (I) Comprehensive Perspective. We define the complete LLM lifecycle as encompassing data preparation, pre-training, post-training, deployment and final commercialization. To our knowledge, this represents the first safety survey to encompass the entire lifecycle of LLMs. (II) Extensive Literature Support. Our research is grounded in an exhaustive review of over 800+ papers, ensuring comprehensive coverage and systematic organization of security issues within a more holistic understanding. (III) Unique Insights. Through systematic literature analysis, we have developed reliable roadmaps and perspectives for each chapter. Our work identifies promising research directions, including safety in data generation, alignment techniques, model editing, and LLM-based agent systems. These insights provide valuable guidance for researchers pursuing future work in this field.