От слов к числам: ваш крупный языковая модель тайно является способным регрессором, когда предоставляются примеры в контексте.

From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples

April 11, 2024

Авторы: Robert Vacareanu, Vlad-Andrei Negru, Vasile Suciu, Mihai Surdeanu

cs.AI

Аннотация

Мы анализируем, насколько хорошо предварительно обученные большие языковые модели (например, Llama2, GPT-4, Claude 3 и т. д.) могут выполнять линейную и нелинейную регрессию, когда им предоставляются примеры в контексте, без дополнительного обучения или обновлений градиента. Наши результаты показывают, что несколько крупных языковых моделей (например, GPT-4, Claude 3) способны выполнять задачи регрессии с производительностью, сопоставимой (или даже превосходящей) традиционные методы обучения с учителем, такие как Случайный лес, Бэггинг или Градиентный бустинг. Например, на сложном наборе данных для регрессии Friedman #2, Claude 3 превосходит многие методы обучения с учителем, такие как AdaBoost, SVM, Случайный лес, KNN или Градиентный бустинг. Затем мы исследуем, насколько хорошо производительность крупных языковых моделей масштабируется с увеличением числа примеров в контексте. Мы позаимствуем понятие потерь из онлайн-обучения и эмпирически показываем, что крупные языковые модели способны достигать сублинейных потерь.

English

We analyze how well pre-trained large language models (e.g., Llama2, GPT-4, Claude 3, etc) can do linear and non-linear regression when given in-context examples, without any additional training or gradient updates. Our findings reveal that several large language models (e.g., GPT-4, Claude 3) are able to perform regression tasks with a performance rivaling (or even outperforming) that of traditional supervised methods such as Random Forest, Bagging, or Gradient Boosting. For example, on the challenging Friedman #2 regression dataset, Claude 3 outperforms many supervised methods such as AdaBoost, SVM, Random Forest, KNN, or Gradient Boosting. We then investigate how well the performance of large language models scales with the number of in-context exemplars. We borrow from the notion of regret from online learning and empirically show that LLMs are capable of obtaining a sub-linear regret.