行列核ノルムを用いた大規模言語モデルの評価

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

著者: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

要旨

大規模言語モデル（LLM）が進化し続ける中、情報の圧縮能力や冗長性の削減能力を評価するために効率的な評価メトリクスが重要です。従来のメトリクスである行列エントロピーなどは貴重な洞察を提供しますが、特異値分解（SVD）による\( O(n^3) \)の時間計算量のため、大規模モデルでは計算コストが高くなります。この問題を緩和するために、行列核ノルムを導入しました。これはLLMのデータ圧縮能力を定量化するメトリクスとして機能するだけでなく、予測の識別性と多様性の両方を捉えるための行列ランクの凸近似を提供します。核ノルムをさらに\( L_{1,2}-\text{ノルム} \)で近似することで、モデルの情報圧縮能力を効果的に評価できます。このアプローチにより、時間計算量を\( O(n^2) \)に削減し、SVDの計算を不要にします。その結果、Matrix Nuclear-Normは、CEREBRAS-GPTモデルにおいて111Mから6.7Bにサイズが増加するにつれて、Matrix Entropyよりも8〜24倍高速な速度を実現します。この性能差は、Pythiaなど他のモデルでのテストで検証され、より大きなモデルではより顕著になります。さらに、ベンチマークやモデルの応答に関する評価により、提案されたMatrix Nuclear-Normが、LLMのパフォーマンスを評価するための信頼性があり、スケーラブルで効率的なツールであり、精度と計算効率のバランスを取っていることが確認されました。コードはhttps://github.com/MLGroupJLU/MatrixNuclearNormで入手可能です。

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.