AutoDetect: Rumo a um Framework Unificado para Detecção Automatizada de Vulnerabilidades em Modelos de Linguagem Grandes

AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models

June 24, 2024

Autores: Jiale Cheng, Yida Lu, Xiaotao Gu, Pei Ke, Xiao Liu, Yuxiao Dong, Hongning Wang, Jie Tang, Minlie Huang

cs.AI

Resumo

Embora os Modelos de Linguagem Grandes (LLMs) estejam se tornando cada vez mais poderosos, ainda apresentam fraquezas significativas, porém sutis, como erros em tarefas de seguir instruções ou codificação. Como esses erros inesperados podem levar a consequências graves em implantações práticas, é crucial investigar sistematicamente as limitações dentro dos LLMs. Abordagens tradicionais de benchmarking não conseguem identificar completamente deficiências específicas do modelo, enquanto inspeções manuais são caras e não escaláveis. Neste artigo, introduzimos um framework unificado, AutoDetect, para expor automaticamente as fraquezas nos LLMs em várias tarefas. Inspirado no processo de avaliação educacional que mede os resultados de aprendizagem dos alunos, o AutoDetect é composto por três agentes alimentados por LLMs: Examinador, Questionador e Avaliador. A colaboração entre esses três agentes é projetada para realizar uma identificação abrangente e aprofundada de fraquezas. Nosso framework demonstra um sucesso significativo em descobrir falhas, com uma taxa de sucesso de identificação superior a 30% em modelos proeminentes como ChatGPT e Claude. Mais importante ainda, essas fraquezas identificadas podem orientar melhorias específicas no modelo, provando ser mais eficazes do que métodos de aumento de dados não direcionados como o Self-Instruct. Nossa abordagem resultou em melhorias substanciais em LLMs populares, incluindo a série Llama e Mistral-7b, aumentando seu desempenho em mais de 10% em vários benchmarks. O código e os dados estão disponíveis publicamente em https://github.com/thu-coai/AutoDetect.

English

Although Large Language Models (LLMs) are becoming increasingly powerful, they still exhibit significant but subtle weaknesses, such as mistakes in instruction-following or coding tasks. As these unexpected errors could lead to severe consequences in practical deployments, it is crucial to investigate the limitations within LLMs systematically. Traditional benchmarking approaches cannot thoroughly pinpoint specific model deficiencies, while manual inspections are costly and not scalable. In this paper, we introduce a unified framework, AutoDetect, to automatically expose weaknesses in LLMs across various tasks. Inspired by the educational assessment process that measures students' learning outcomes, AutoDetect consists of three LLM-powered agents: Examiner, Questioner, and Assessor. The collaboration among these three agents is designed to realize comprehensive and in-depth weakness identification. Our framework demonstrates significant success in uncovering flaws, with an identification success rate exceeding 30% in prominent models such as ChatGPT and Claude. More importantly, these identified weaknesses can guide specific model improvements, proving more effective than untargeted data augmentation methods like Self-Instruct. Our approach has led to substantial enhancements in popular LLMs, including the Llama series and Mistral-7b, boosting their performance by over 10% across several benchmarks. Code and data are publicly available at https://github.com/thu-coai/AutoDetect.