Entraînement inversé pour remédier à la malédiction de l'inversion

Reverse Training to Nurse the Reversal Curse

March 20, 2024

Auteurs: Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Résumé

Les grands modèles de langage (LLM) présentent un échec surprenant : lorsqu'ils sont entraînés sur "A possède une caractéristique B", ils ne généralisent pas à "B est une caractéristique de A", ce que l'on appelle la Malédiction de l'Inversion. Même avec un entraînement sur des milliers de milliards de tokens, ce problème persiste en raison de la loi de Zipf - et ce, même si l'on entraîne sur l'intégralité d'Internet. Ce travail propose un schéma d'entraînement alternatif, appelé entraînement inversé, où tous les mots sont utilisés deux fois, doublant ainsi la quantité de tokens disponibles. Le LLM est entraîné à la fois dans le sens normal et inversé en inversant les chaînes d'entraînement tout en préservant (c'est-à-dire sans inverser) certaines sous-chaînes choisies, comme les entités. Nous montrons que les modèles entraînés en inversion avec des données adaptées offrent des performances supérieures aux modèles standards sur des tâches classiques, et que les modèles entraînés en inversion avec un budget de calcul équivalent offrent des performances bien supérieures sur les tâches d'inversion, contribuant ainsi à résoudre le problème de la malédiction de l'inversion.

English

Large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf's law - hence even if we train on the entire internet. This work proposes an alternative training scheme, called reverse training, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing the training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.