Omgekeerde training om het omkeringseffect te verhelpen

Reverse Training to Nurse the Reversal Curse

March 20, 2024

Auteurs: Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Samenvatting

Grote taalmodellen (LLM's) vertonen een opvallend falen: wanneer ze getraind worden op "A heeft een eigenschap B", generaliseren ze niet naar "B is een eigenschap van A", wat de Omkeringvloek wordt genoemd. Zelfs bij training met biljoenen tokens blijft dit probleem bestaan vanwege de wet van Zipf - zelfs als we trainen op het hele internet. Dit werk stelt een alternatief trainingsschema voor, genaamd omgekeerde training, waarbij alle woorden twee keer worden gebruikt, wat het aantal beschikbare tokens verdubbelt. Het LLM wordt getraind in zowel voorwaartse als omgekeerde richting door de trainingsreeksen om te keren, terwijl gekozen substrings, zoals entiteiten, behouden blijven (dus niet worden omgekeerd). We laten zien dat data-gematchede, omgekeerd getrainde modellen superieure prestaties leveren ten opzichte van standaardmodellen bij standaard taken, en compute-gematchede, omgekeerd getrainde modellen veel betere prestaties leveren bij omkerings taken, wat helpt bij het oplossen van het omkeringvloek-probleem.

English

Large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf's law - hence even if we train on the entire internet. This work proposes an alternative training scheme, called reverse training, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing the training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.