Evaluación de Modelos de Lenguaje de Gran Tamaño a través de la Norma Nuclear de Matrices.

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

Autores: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

Resumen

A medida que los modelos de lenguaje grandes (LLMs) continúan evolucionando, resulta vital contar con métricas de evaluación eficientes para evaluar su capacidad de comprimir información y reducir la redundancia. Si bien métricas tradicionales como la Entropía de Matriz ofrecen información valiosa, son intensivas computacionalmente para modelos a gran escala debido a su complejidad temporal \( O(n^3) \) con la Descomposición de Valores Singulares (SVD). Para mitigar este problema, introducimos la Norma Nuclear de Matriz, que no solo sirve como una métrica para cuantificar la capacidad de compresión de datos de LLM, sino que también proporciona una aproximación convexa de la rango de matriz para capturar tanto la discriminabilidad predictiva como la diversidad. Al emplear la \( L_{1,2}-norma \) para aproximar aún más la norma nuclear, podemos evaluar eficazmente las capacidades de compresión de información del modelo. Este enfoque reduce la complejidad temporal a \( O(n^2) \) y elimina la necesidad de cálculos de SVD. En consecuencia, la Norma Nuclear de Matriz logra velocidades de 8 a 24 veces más rápidas que la Entropía de Matriz para el modelo CEREBRAS-GPT a medida que los tamaños aumentan de 111M a 6.7B. Esta brecha de rendimiento se hace más pronunciada con modelos más grandes, como se validó en pruebas con otros modelos como Pythia. Además, evaluaciones en benchmarks y respuestas de modelos confirman que nuestra propuesta de Norma Nuclear de Matriz es una herramienta confiable, escalable y eficiente para evaluar el rendimiento de LLMs, logrando un equilibrio entre precisión y eficiencia computacional. El código está disponible en https://github.com/MLGroupJLU/MatrixNuclearNorm.

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.