Umgekehrtes Training zur Pflege des Umkehrfluchs

Reverse Training to Nurse the Reversal Curse

March 20, 2024

Autoren: Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) weisen ein überraschendes Versagen auf: Wenn sie auf "A hat ein Merkmal B" trainiert werden, generalisieren sie nicht zu "B ist ein Merkmal von A", was als Umkehrfluch bezeichnet wird. Selbst bei einem Training mit Billionen von Tokens tritt dieses Problem aufgrund des Zipf'schen Gesetzes auf - daher auch, wenn wir das gesamte Internet trainieren. Diese Arbeit schlägt ein alternatives Trainingsschema namens Umkehrtraining vor, bei dem alle Wörter zweimal verwendet werden, wodurch die Anzahl der verfügbaren Tokens verdoppelt wird. Das LLM wird sowohl in Vorwärts- als auch in Rückwärtsrichtung trainiert, indem die Trainingszeichenfolgen umgekehrt werden, wobei ausgewählte Teilzeichenfolgen wie Entitäten beibehalten werden (d. h. nicht umgekehrt werden). Wir zeigen, dass datenangepasste rückwärts trainierte Modelle eine überlegene Leistung im Vergleich zu Standardmodellen bei Standardaufgaben bieten und datenangepasste rückwärts trainierte Modelle bei Umkehrungsaufgaben eine weit überlegene Leistung erbringen, was zur Lösung des Umkehrfluch-Problems beiträgt.

English

Large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf's law - hence even if we train on the entire internet. This work proposes an alternative training scheme, called reverse training, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing the training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.