Allenamento Inverso per Curare la Maledizione dell'Inversione

Reverse Training to Nurse the Reversal Curse

March 20, 2024

Autori: Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Abstract

I grandi modelli linguistici (LLM) presentano un fallimento sorprendente: quando vengono addestrati su "A ha una caratteristica B", non generalizzano a "B è una caratteristica di A", un fenomeno denominato Maledizione dell'Inversione. Anche con un addestramento su trilioni di token, questo problema persiste a causa della legge di Zipf, il che significa che si verifica anche se addestriamo il modello sull'intero internet. Questo lavoro propone uno schema di addestramento alternativo, chiamato addestramento inverso, in cui tutte le parole vengono utilizzate due volte, raddoppiando la quantità di token disponibili. L'LLM viene addestrato sia in direzione normale che inversa invertendo le stringhe di addestramento ma preservando (cioè non invertendo) sottostringhe specifiche, come le entità. Dimostriamo che i modelli addestrati in modo inverso con dati corrispondenti offrono prestazioni superiori rispetto ai modelli standard su compiti standard, mentre i modelli addestrati in modo inverso con un calcolo corrispondente forniscono prestazioni di gran lunga superiori sui compiti di inversione, contribuendo a risolvere il problema della maledizione dell'inversione.

English

Large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf's law - hence even if we train on the entire internet. This work proposes an alternative training scheme, called reverse training, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing the training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.