Оценка крупной языковой модели с использованием ядерной нормы матрицы.

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

Авторы: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

Аннотация

Поскольку большие языковые модели (LLM) продолжают развиваться, эффективные метрики оценки играют важную роль в оценке их способности сжимать информацию и уменьшать избыточность. В то время как традиционные метрики, такие как Матричная Энтропия, предлагают ценные идеи, они требуют вычислительных ресурсов для моделей крупного масштаба из-за их временной сложности \( O(n^3) \) с сингулярным разложением (SVD). Для решения этой проблемы мы представляем Матричную Ядерную Норму, которая не только служит метрикой для количественной оценки способности LLM к сжатию данных, но также предоставляет выпуклое приближение ранга матрицы для улавливания как предсказательной дискриминации, так и разнообразия. Применяя \( L_{1,2}-норму \) для дальнейшего приближения ядерной нормы, мы можем эффективно оценить способности модели к сжатию информации. Этот подход снижает временную сложность до \( O(n^2) \) и устраняет необходимость в вычислении SVD. В результате Матричная Ядерная Норма достигает скорости в 8-24 раза выше, чем Матричная Энтропия для модели CEREBRAS-GPT при увеличении размеров от 111M до 6.7B. Этот разрыв в производительности становится более выраженным с увеличением размеров моделей, что подтверждается в тестах с другими моделями, такими как Pythia. Кроме того, оценки на тестах и ответы модели подтверждают, что наша предложенная Матричная Ядерная Норма является надежным, масштабируемым и эффективным инструментом для оценки производительности LLM, находя баланс между точностью и вычислительной эффективностью. Код доступен по ссылке https://github.com/MLGroupJLU/MatrixNuclearNorm.

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.