Valutazione di grandi modelli linguistici tramite la norma nucleare della matrice

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

Autori: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

Abstract

Con l'evoluzione dei grandi modelli linguistici (LLM), metriche di valutazione efficienti sono fondamentali per valutare la loro capacità di comprimere informazioni e ridurre la ridondanza. Mentre metriche tradizionali come l'Entropia della Matrice offrono preziose intuizioni, sono computazionalmente intensive per modelli su larga scala a causa della loro complessità temporale \( O(n^3) \) con la Decomposizione ai Valori Singolari (SVD). Per mitigare questo problema, introduciamo la Norma Nucleare della Matrice, che non solo funge da metrica per quantificare l'efficienza di compressione dei dati del LLM, ma fornisce anche un'approssimazione convessa del rango della matrice per catturare sia la discriminabilità predittiva che la diversità. Utilizzando la \( L_{1,2}-norma \) per approssimare ulteriormente la norma nucleare, possiamo valutare efficacemente le capacità di compressione delle informazioni del modello. Questo approccio riduce la complessità temporale a \( O(n^2) \) ed elimina la necessità di calcoli SVD. Di conseguenza, la Norma Nucleare della Matrice raggiunge velocità 8-24 volte superiori rispetto all'Entropia della Matrice per il modello CEREBRAS-GPT all'aumentare delle dimensioni da 111M a 6.7B. Questo divario di prestazioni diventa più evidente con modelli più grandi, come confermato nei test con altri modelli come Pythia. Inoltre, le valutazioni su benchmark e risposte del modello confermano che la nostra proposta di Norma Nucleare della Matrice è uno strumento affidabile, scalabile ed efficiente per valutare le prestazioni dei LLM, trovando un equilibrio tra precisione ed efficienza computazionale. Il codice è disponibile su https://github.com/MLGroupJLU/MatrixNuclearNorm.

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.