Автоопределение: к единой концепции автоматизированного обнаружения уязвимостей в больших языковых моделях

AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models

June 24, 2024

Авторы: Jiale Cheng, Yida Lu, Xiaotao Gu, Pei Ke, Xiao Liu, Yuxiao Dong, Hongning Wang, Jie Tang, Minlie Huang

cs.AI

Аннотация

Хотя большие языковые модели (Large Language Models, LLM) становятся все более мощными, они все еще проявляют значительные, но тонкие слабости, такие как ошибки в выполнении инструкций или задачах по кодированию. Поскольку эти непредвиденные ошибки могут привести к серьезным последствиям при практическом применении, крайне важно систематически исследовать ограничения в LLM. Традиционные подходы к оценке производительности не могут полностью выявить конкретные недостатки модели, в то время как ручные проверки затратны и не масштабируются. В данной статье мы представляем унифицированную структуру, AutoDetect, для автоматического выявления слабостей в LLM на различных задачах. Вдохновленный процессом образовательной оценки, который измеряет результаты обучения студентов, AutoDetect состоит из трех агентов на базе LLM: Экзаменатор, Опрашивающий и Оценщик. Сотрудничество между этими тремя агентами разработано для реализации всестороннего и глубокого выявления слабостей. Наша структура демонстрирует значительный успех в выявлении недостатков, с уровнем успешного выявления превышающим 30% в известных моделях, таких как ChatGPT и Claude. Более того, эти выявленные слабости могут направить на конкретные улучшения модели, доказывая большую эффективность по сравнению с методами нецелевого увеличения данных, такими как Self-Instruct. Наш подход привел к существенным улучшениям в популярных LLM, включая серии Llama и Mistral-7b, увеличивая их производительность на более чем 10% по нескольким показателям. Код и данные общедоступны на https://github.com/thu-coai/AutoDetect.

English

Although Large Language Models (LLMs) are becoming increasingly powerful, they still exhibit significant but subtle weaknesses, such as mistakes in instruction-following or coding tasks. As these unexpected errors could lead to severe consequences in practical deployments, it is crucial to investigate the limitations within LLMs systematically. Traditional benchmarking approaches cannot thoroughly pinpoint specific model deficiencies, while manual inspections are costly and not scalable. In this paper, we introduce a unified framework, AutoDetect, to automatically expose weaknesses in LLMs across various tasks. Inspired by the educational assessment process that measures students' learning outcomes, AutoDetect consists of three LLM-powered agents: Examiner, Questioner, and Assessor. The collaboration among these three agents is designed to realize comprehensive and in-depth weakness identification. Our framework demonstrates significant success in uncovering flaws, with an identification success rate exceeding 30% in prominent models such as ChatGPT and Claude. More importantly, these identified weaknesses can guide specific model improvements, proving more effective than untargeted data augmentation methods like Self-Instruct. Our approach has led to substantial enhancements in popular LLMs, including the Llama series and Mistral-7b, boosting their performance by over 10% across several benchmarks. Code and data are publicly available at https://github.com/thu-coai/AutoDetect.