Des mots aux nombres : votre modèle de langage massif est secrètement un régresseur compétent lorsqu'il reçoit des exemples en contexte

From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples

April 11, 2024

Auteurs: Robert Vacareanu, Vlad-Andrei Negru, Vasile Suciu, Mihai Surdeanu

cs.AI

Résumé

Nous analysons dans quelle mesure les grands modèles de langage pré-entraînés (par exemple, Llama2, GPT-4, Claude 3, etc.) peuvent effectuer des régressions linéaires et non linéaires lorsqu'ils reçoivent des exemples en contexte, sans aucun entraînement supplémentaire ni mise à jour de gradient. Nos résultats révèlent que plusieurs grands modèles de langage (par exemple, GPT-4, Claude 3) sont capables d'exécuter des tâches de régression avec une performance rivalisant (voire surpassant) celle des méthodes supervisées traditionnelles telles que les forêts aléatoires (Random Forest), le bagging ou le boosting de gradient. Par exemple, sur le jeu de données de régression complexe Friedman #2, Claude 3 surpasse de nombreuses méthodes supervisées telles qu'AdaBoost, les machines à vecteurs de support (SVM), les forêts aléatoires, les K plus proches voisins (KNN) ou le boosting de gradient. Nous étudions ensuite comment la performance des grands modèles de langage évolue avec le nombre d'exemples en contexte. Nous nous inspirons de la notion de regret issue de l'apprentissage en ligne et montrons empiriquement que les grands modèles de langage sont capables d'atteindre un regret sous-linéaire.

English

We analyze how well pre-trained large language models (e.g., Llama2, GPT-4, Claude 3, etc) can do linear and non-linear regression when given in-context examples, without any additional training or gradient updates. Our findings reveal that several large language models (e.g., GPT-4, Claude 3) are able to perform regression tasks with a performance rivaling (or even outperforming) that of traditional supervised methods such as Random Forest, Bagging, or Gradient Boosting. For example, on the challenging Friedman #2 regression dataset, Claude 3 outperforms many supervised methods such as AdaBoost, SVM, Random Forest, KNN, or Gradient Boosting. We then investigate how well the performance of large language models scales with the number of in-context exemplars. We borrow from the notion of regret from online learning and empirically show that LLMs are capable of obtaining a sub-linear regret.