Évaluation de grands modèles de langage via la norme nucléaire de matrices

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

Auteurs: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

Résumé

À mesure que les grands modèles de langage (LLM) continuent d'évoluer, des métriques d'évaluation efficaces sont essentielles pour évaluer leur capacité à compresser l'information et à réduire la redondance. Alors que des métriques traditionnelles comme l'Entropie Matricielle offrent des informations précieuses, elles sont intensives en termes de calcul pour les modèles à grande échelle en raison de leur complexité temporelle en \( O(n^3) \) avec la Décomposition en Valeurs Singulières (SVD). Pour atténuer ce problème, nous introduisons la Norme Nucléaire Matricielle, qui sert non seulement de métrique pour quantifier l'efficacité de compression des données du LLM, mais fournit également une approximation convexe du rang matriciel pour capturer à la fois la capacité prédictive discriminante et la diversité. En utilisant la \( L_{1,2}-norme \) pour approximer davantage la norme nucléaire, nous pouvons évaluer efficacement les capacités de compression d'information du modèle. Cette approche réduit la complexité temporelle à \( O(n^2) \) et élimine le besoin de calcul de SVD. Par conséquent, la Norme Nucléaire Matricielle atteint des vitesses de 8 à 24 fois plus rapides que l'Entropie Matricielle pour le modèle CEREBRAS-GPT à mesure que les tailles augmentent de 111M à 6.7B. Cet écart de performance devient plus prononcé avec des modèles plus grands, comme validé dans des tests avec d'autres modèles tels que Pythia. De plus, les évaluations sur des benchmarks et les réponses des modèles confirment que notre Norme Nucléaire Matricielle proposée est un outil fiable, évolutif et efficace pour évaluer les performances des LLM, trouvant un équilibre entre précision et efficacité computationnelle. Le code est disponible sur https://github.com/MLGroupJLU/MatrixNuclearNorm.

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.