Uma Análise Abrangente sobre Segurança em Pilha Completa de LLM(-Agente): Dados, Treinamento e Implantação

A Comprehensive Survey in LLM(-Agent) Full Stack Safety: Data, Training and Deployment

April 22, 2025

Autores: Kun Wang, Guibin Zhang, Zhenhong Zhou, Jiahao Wu, Miao Yu, Shiqian Zhao, Chenlong Yin, Jinhu Fu, Yibo Yan, Hanjun Luo, Liang Lin, Zhihao Xu, Haolang Lu, Xinye Cao, Xinyun Zhou, Weifei Jin, Fanci Meng, Junyuan Mao, Hao Wu, Minghe Wang, Fan Zhang, Junfeng Fang, Chengwei Liu, Yifan Zhang, Qiankun Li, Chongye Guo, Yalan Qin, Yi Ding, Donghai Hong, Jiaming Ji, Xinfeng Li, Yifan Jiang, Dongxia Wang, Yihao Huang, Yufei Guo, Jen-tse Huang, Yanwei Yue, Wenke Huang, Guancheng Wan, Tianlin Li, Lei Bai, Jie Zhang, Qing Guo, Jingyi Wang, Tianlong Chen, Joey Tianyi Zhou, Xiaojun Jia, Weisong Sun, Cong Wu, Jing Chen, Xuming Hu, Yiming Li, Xiao Wang, Ningyu Zhang, Luu Anh Tuan, Guowen Xu, Tianwei Zhang, Xingjun Ma, Xiang Wang, Bo An, Jun Sun, Mohit Bansal, Shirui Pan, Yuval Elovici, Bhavya Kailkhura, Bo Li, Yaodong Yang, Hongwei Li, Wenyuan Xu, Yizhou Sun, Wei Wang, Qing Li, Ke Tang, Yu-Gang Jiang, Felix Juefei-Xu, Hui Xiong, Xiaofeng Wang, Shuicheng Yan, Dacheng Tao, Philip S. Yu, Qingsong Wen, Yang Liu

cs.AI

Resumo

O notável sucesso dos Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) iluminou um caminho promissor rumo à Inteligência Artificial Geral, tanto para comunidades acadêmicas quanto industriais, graças ao seu desempenho sem precedentes em diversas aplicações. À medida que os LLMs continuam a ganhar destaque tanto em domínios de pesquisa quanto comerciais, suas implicações de segurança e segurança tornaram-se uma preocupação crescente, não apenas para pesquisadores e corporações, mas também para cada nação. Atualmente, as pesquisas existentes sobre a segurança dos LLMs concentram-se principalmente em etapas específicas do ciclo de vida dos LLMs, por exemplo, fase de implantação ou fase de ajuste fino, carecendo de uma compreensão abrangente de toda a "cadeia de vida" dos LLMs. Para abordar essa lacuna, este artigo introduz, pela primeira vez, o conceito de segurança "full-stack" para considerar sistematicamente questões de segurança ao longo de todo o processo de treinamento, implantação e eventual comercialização dos LLMs. Em comparação com as pesquisas de segurança de LLMs prontas para uso, nosso trabalho demonstra várias vantagens distintas: (I) Perspectiva Abrangente. Definimos o ciclo de vida completo dos LLMs como abrangendo preparação de dados, pré-treinamento, pós-treinamento, implantação e comercialização final. Até onde sabemos, esta é a primeira pesquisa de segurança a abranger todo o ciclo de vida dos LLMs. (II) Suporte Extenso de Literatura. Nossa pesquisa é baseada em uma revisão exaustiva de mais de 800 artigos, garantindo cobertura abrangente e organização sistemática de questões de segurança dentro de uma compreensão mais holística. (III) Insights Únicos. Por meio de análise sistemática da literatura, desenvolvemos roteiros confiáveis e perspectivas para cada capítulo. Nosso trabalho identifica direções de pesquisa promissoras, incluindo segurança na geração de dados, técnicas de alinhamento, edição de modelos e sistemas de agentes baseados em LLMs. Esses insights fornecem orientações valiosas para pesquisadores que buscam trabalhos futuros neste campo.

English

The remarkable success of Large Language Models (LLMs) has illuminated a promising pathway toward achieving Artificial General Intelligence for both academic and industrial communities, owing to their unprecedented performance across various applications. As LLMs continue to gain prominence in both research and commercial domains, their security and safety implications have become a growing concern, not only for researchers and corporations but also for every nation. Currently, existing surveys on LLM safety primarily focus on specific stages of the LLM lifecycle, e.g., deployment phase or fine-tuning phase, lacking a comprehensive understanding of the entire "lifechain" of LLMs. To address this gap, this paper introduces, for the first time, the concept of "full-stack" safety to systematically consider safety issues throughout the entire process of LLM training, deployment, and eventual commercialization. Compared to the off-the-shelf LLM safety surveys, our work demonstrates several distinctive advantages: (I) Comprehensive Perspective. We define the complete LLM lifecycle as encompassing data preparation, pre-training, post-training, deployment and final commercialization. To our knowledge, this represents the first safety survey to encompass the entire lifecycle of LLMs. (II) Extensive Literature Support. Our research is grounded in an exhaustive review of over 800+ papers, ensuring comprehensive coverage and systematic organization of security issues within a more holistic understanding. (III) Unique Insights. Through systematic literature analysis, we have developed reliable roadmaps and perspectives for each chapter. Our work identifies promising research directions, including safety in data generation, alignment techniques, model editing, and LLM-based agent systems. These insights provide valuable guidance for researchers pursuing future work in this field.