言葉から数値へ：あなたの大規模言語モデルは、文脈内の例を与えられると、潜在的に有能な回帰モデルとなる

From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples

April 11, 2024

著者: Robert Vacareanu, Vlad-Andrei Negru, Vasile Suciu, Mihai Surdeanu

cs.AI

要旨

事前学習済みの大規模言語モデル（例：Llama2、GPT-4、Claude 3など）が、追加の学習や勾配更新なしに、文脈内の例示のみを与えられた場合に、線形および非線形回帰をどの程度うまく実行できるかを分析します。我々の調査結果から、いくつかの大規模言語モデル（例：GPT-4、Claude 3）が、ランダムフォレスト、バギング、勾配ブースティングなどの従来の教師あり手法に匹敵する（あるいはそれを上回る）性能で回帰タスクを実行できることが明らかになりました。例えば、難しいFriedman #2回帰データセットにおいて、Claude 3はAdaBoost、SVM、ランダムフォレスト、KNN、勾配ブースティングなどの多くの教師あり手法を上回りました。次に、大規模言語モデルの性能が、文脈内の例示の数に応じてどのようにスケールするかを調査します。オンライン学習における後悔（regret）の概念を借用し、LLMがサブリニアな後悔を達成できることを実証的に示します。

English

We analyze how well pre-trained large language models (e.g., Llama2, GPT-4, Claude 3, etc) can do linear and non-linear regression when given in-context examples, without any additional training or gradient updates. Our findings reveal that several large language models (e.g., GPT-4, Claude 3) are able to perform regression tasks with a performance rivaling (or even outperforming) that of traditional supervised methods such as Random Forest, Bagging, or Gradient Boosting. For example, on the challenging Friedman #2 regression dataset, Claude 3 outperforms many supervised methods such as AdaBoost, SVM, Random Forest, KNN, or Gradient Boosting. We then investigate how well the performance of large language models scales with the number of in-context exemplars. We borrow from the notion of regret from online learning and empirically show that LLMs are capable of obtaining a sub-linear regret.