FIAT: Объединение парадигм обучения с настройкой, ускоренной инструкциями

FIAT: Fusing learning paradigms with Instruction-Accelerated Tuning

September 9, 2023

Авторы: Xinyi Wang, John Wieting, Jonathan H. Clark

cs.AI

Аннотация

Парадигмы обучения для больших языковых моделей (LLM) в настоящее время обычно сводятся либо к обучению в контексте (in-context learning, ICL), либо к полной тонкой настройке (fine-tuning). Каждая из этих парадигм имеет свои компромиссы, связанные с доступностью данных, размером модели, вычислительными затратами, удобством использования и итоговым качеством, причем ни одно из решений не демонстрирует универсальной эффективности. В данной статье мы сначала описываем парадигмы ICL и тонкой настройки, подчеркивая их естественные взаимосвязи. На основе этих взаимосвязей мы предлагаем новую парадигму обучения под названием FIAT, которая объединяет лучшие аспекты обеих парадигм, позволяя использовать инженерные подсказки и цепочки рассуждений (chain-of-thought reasoning) с самыми крупными моделями, а также применять аналогичные методы для обновления параметров в моделях умеренного размера с помощью параметрически эффективной настройки. Мы оцениваем эффективность FIAT на различных многоязычных задачах и наблюдаем, что FIAT превосходит как ICL, так и тонкую настройку при масштабах обучения от 100 до 10 000 примеров. Мы надеемся, что FIAT предоставит практический способ раскрыть весь потенциал LLM, не требуя жесткого выбора между парадигмами обучения.

English

Learning paradigms for large language models (LLMs) currently tend to fall within either in-context learning (ICL) or full fine-tuning. Each of these comes with their own trade-offs based on available data, model size, compute cost, ease-of-use, and final quality with neither solution performing well across-the-board. In this article, we first describe ICL and fine-tuning paradigms in a way that highlights their natural connections. Based on these connections, we propose a new learning paradigm called FIAT that fuses the best of these paradigms together, enabling prompt-engineered instructions and chain-of-thought reasoning with the very largest models while also using similar methods to perform parameter updates on a modestly-sized LLM with parameter-efficient tuning. We evaluate FIAT's effectiveness on a variety of multilingual tasks and observe that FIAT performs better than both ICL and fine-tuning at scales ranging from 100-10,000 training examples. We hope that FIAT provides a practical way of harnessing the full potential of LLMs without needing to make a hard choice between learning paradigms.