AutoDetect: 大規模言語モデルにおける自動的弱点検出のための統一フレームワークに向けて

AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models

June 24, 2024

著者: Jiale Cheng, Yida Lu, Xiaotao Gu, Pei Ke, Xiao Liu, Yuxiao Dong, Hongning Wang, Jie Tang, Minlie Huang

cs.AI

要旨

大規模言語モデル（LLM）はますます強力になっているものの、指示の遵守やコーディングタスクにおけるミスなど、重大だが微妙な弱点を依然として示しています。これらの予期せぬエラーは実用展開において深刻な結果を招く可能性があるため、LLMの限界を体系的に調査することが極めて重要です。従来のベンチマーキング手法では特定のモデルの欠陥を徹底的に特定することができず、手動での検査はコストがかかりスケーラブルではありません。本論文では、AutoDetectという統一フレームワークを導入し、様々なタスクにおけるLLMの弱点を自動的に明らかにします。学生の学習成果を測定する教育評価プロセスに着想を得たAutoDetectは、Examiner、Questioner、Assessorという3つのLLMエージェントで構成されています。これら3つのエージェントの連携により、包括的かつ深い弱点の特定を実現します。本フレームワークは、ChatGPTやClaudeなどの著名なモデルにおいて、30%を超える識別成功率で欠陥を発見することに大きな成功を収めています。さらに重要なことに、これらの特定された弱点は、Self-Instructのような無差別なデータ拡張手法よりも効果的で、特定のモデル改善を導くことができます。本アプローチにより、LlamaシリーズやMistral-7bなどの人気LLMが大幅に強化され、複数のベンチマークで10%以上の性能向上が達成されました。コードとデータはhttps://github.com/thu-coai/AutoDetectで公開されています。

English

Although Large Language Models (LLMs) are becoming increasingly powerful, they still exhibit significant but subtle weaknesses, such as mistakes in instruction-following or coding tasks. As these unexpected errors could lead to severe consequences in practical deployments, it is crucial to investigate the limitations within LLMs systematically. Traditional benchmarking approaches cannot thoroughly pinpoint specific model deficiencies, while manual inspections are costly and not scalable. In this paper, we introduce a unified framework, AutoDetect, to automatically expose weaknesses in LLMs across various tasks. Inspired by the educational assessment process that measures students' learning outcomes, AutoDetect consists of three LLM-powered agents: Examiner, Questioner, and Assessor. The collaboration among these three agents is designed to realize comprehensive and in-depth weakness identification. Our framework demonstrates significant success in uncovering flaws, with an identification success rate exceeding 30% in prominent models such as ChatGPT and Claude. More importantly, these identified weaknesses can guide specific model improvements, proving more effective than untargeted data augmentation methods like Self-Instruct. Our approach has led to substantial enhancements in popular LLMs, including the Llama series and Mistral-7b, boosting their performance by over 10% across several benchmarks. Code and data are publicly available at https://github.com/thu-coai/AutoDetect.