Обратное обучение для излечения проклятия обращения

Reverse Training to Nurse the Reversal Curse

March 20, 2024

Авторы: Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Аннотация

Большие языковые модели (LLM) имеют удивительный недостаток: когда они обучаются на фразе "A имеет признак B", они не обобщают это на фразу "B - признак A", что называется Проклятием Реверсии. Даже при обучении с триллионами токенов эта проблема все равно возникает из-за закона Ципфа - поэтому даже если мы обучим модель на всем интернете. В данной работе предлагается альтернативная схема обучения, называемая обратным обучением, при которой все слова используются дважды, удваивая количество доступных токенов. LLM обучается как в прямом, так и в обратном направлении путем разворачивания строк обучения, сохраняя (то есть не разворачивая) выбранные подстроки, такие как сущности. Мы показываем, что модели, обученные обратным образом с учетом данных, обеспечивают более высокую производительность по сравнению со стандартными моделями на стандартных задачах, а модели, обученные обратным образом с учетом вычислений, обеспечивают значительно более высокую производительность на задачах реверсии, что помогает решить проблему Проклятия Реверсии.

English

Large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf's law - hence even if we train on the entire internet. This work proposes an alternative training scheme, called reverse training, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing the training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.