AutoDetect: Hacia un Marco Unificado para la Detección Automática de Debilidades en Modelos de Lenguaje a Gran Escala

AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models

June 24, 2024

Autores: Jiale Cheng, Yida Lu, Xiaotao Gu, Pei Ke, Xiao Liu, Yuxiao Dong, Hongning Wang, Jie Tang, Minlie Huang

cs.AI

Resumen

Aunque los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) son cada vez más potentes, aún presentan debilidades significativas aunque sutiles, como errores en la ejecución de instrucciones o en tareas de programación. Dado que estos errores inesperados podrían tener consecuencias graves en implementaciones prácticas, es crucial investigar de manera sistemática las limitaciones de los LLMs. Los enfoques tradicionales de evaluación no pueden identificar exhaustivamente deficiencias específicas en los modelos, mientras que las inspecciones manuales son costosas y no escalables. En este artículo, presentamos un marco unificado, AutoDetect, para exponer automáticamente las debilidades de los LLMs en diversas tareas. Inspirado en el proceso de evaluación educativa que mide los resultados de aprendizaje de los estudiantes, AutoDetect consta de tres agentes impulsados por LLMs: Examinador, Cuestionador y Evaluador. La colaboración entre estos tres agentes está diseñada para lograr una identificación exhaustiva y profunda de las debilidades. Nuestro marco demuestra un éxito significativo en la detección de fallos, con una tasa de identificación superior al 30% en modelos destacados como ChatGPT y Claude. Más importante aún, estas debilidades identificadas pueden guiar mejoras específicas en los modelos, demostrando ser más efectivas que métodos de aumento de datos no dirigidos como Self-Instruct. Nuestro enfoque ha llevado a mejoras sustanciales en LLMs populares, incluyendo la serie Llama y Mistral-7b, aumentando su rendimiento en más de un 10% en varios benchmarks. El código y los datos están disponibles públicamente en https://github.com/thu-coai/AutoDetect.

English

Although Large Language Models (LLMs) are becoming increasingly powerful, they still exhibit significant but subtle weaknesses, such as mistakes in instruction-following or coding tasks. As these unexpected errors could lead to severe consequences in practical deployments, it is crucial to investigate the limitations within LLMs systematically. Traditional benchmarking approaches cannot thoroughly pinpoint specific model deficiencies, while manual inspections are costly and not scalable. In this paper, we introduce a unified framework, AutoDetect, to automatically expose weaknesses in LLMs across various tasks. Inspired by the educational assessment process that measures students' learning outcomes, AutoDetect consists of three LLM-powered agents: Examiner, Questioner, and Assessor. The collaboration among these three agents is designed to realize comprehensive and in-depth weakness identification. Our framework demonstrates significant success in uncovering flaws, with an identification success rate exceeding 30% in prominent models such as ChatGPT and Claude. More importantly, these identified weaknesses can guide specific model improvements, proving more effective than untargeted data augmentation methods like Self-Instruct. Our approach has led to substantial enhancements in popular LLMs, including the Llama series and Mistral-7b, boosting their performance by over 10% across several benchmarks. Code and data are publicly available at https://github.com/thu-coai/AutoDetect.