Avaliação de Modelos de Linguagem de Grande Porte por meio da Norma Nuclear da Matriz

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

Autores: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

Resumo

À medida que os modelos de linguagem de grande escala (LLMs) continuam a evoluir, métricas de avaliação eficientes são vitais para avaliar sua capacidade de comprimir informações e reduzir a redundância. Embora métricas tradicionais como Entropia de Matriz ofereçam insights valiosos, são computacionalmente intensivas para modelos em grande escala devido à sua complexidade temporal \( O(n^3) \) com Decomposição em Valores Singulares (SVD). Para mitigar esse problema, introduzimos a Norma Nuclear da Matriz, que não só serve como métrica para quantificar a proficiência de compressão de dados do LLM, mas também fornece uma aproximação convexa da ordem da matriz para capturar tanto a discriminabilidade preditiva quanto a diversidade. Ao empregar a \( L_{1,2}-norma \) para aproximar ainda mais a norma nuclear, podemos avaliar eficazmente as capacidades de compressão de informações do modelo. Essa abordagem reduz a complexidade temporal para \( O(n^2) \) e elimina a necessidade de cálculo de SVD. Consequentemente, a Norma Nuclear da Matriz alcança velocidades de 8 a 24 vezes mais rápidas do que a Entropia de Matriz para o modelo CEREBRAS-GPT à medida que os tamanhos aumentam de 111M para 6.7B. Essa diferença de desempenho se torna mais pronunciada com modelos maiores, conforme validado em testes com outros modelos como Pythia. Além disso, avaliações em benchmarks e respostas do modelo confirmam que nossa proposta de Norma Nuclear da Matriz é uma ferramenta confiável, escalável e eficiente para avaliar o desempenho dos LLMs, encontrando um equilíbrio entre precisão e eficiência computacional. O código está disponível em https://github.com/MLGroupJLU/MatrixNuclearNorm.

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.