Treinamento Reverso para Mitigar a Maldição da Reversão
Reverse Training to Nurse the Reversal Curse
March 20, 2024
Autores: Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar
cs.AI
Resumo
Grandes modelos de linguagem (LLMs) apresentam uma falha surpreendente: quando treinados em "A tem uma característica B", eles não generalizam para "B é uma característica de A", o que é denominado a Maldição da Reversão. Mesmo quando treinados com trilhões de tokens, esse problema ainda persiste devido à lei de Zipf - portanto, mesmo que treinemos com toda a internet. Este trabalho propõe um esquema de treinamento alternativo, chamado treinamento reverso, no qual todas as palavras são usadas duas vezes, dobrando a quantidade de tokens disponíveis. O LLM é treinado tanto na direção normal quanto na reversa, invertendo as strings de treinamento enquanto preserva (ou seja, não inverte) substrings escolhidas, como entidades. Mostramos que modelos treinados de forma reversa com dados correspondentes oferecem desempenho superior aos modelos padrão em tarefas convencionais, e modelos treinados de forma reversa com computação correspondente oferecem desempenho muito superior em tarefas de reversão, ajudando a resolver o problema da maldição da reversão.
English
Large language models (LLMs) have a surprising failure: when trained on "A
has a feature B", they do not generalize to "B is a feature of A", which is
termed the Reversal Curse. Even when training with trillions of tokens this
issue still appears due to Zipf's law - hence even if we train on the entire
internet. This work proposes an alternative training scheme, called reverse
training, whereby all words are used twice, doubling the amount of available
tokens. The LLM is trained in both forward and reverse directions by reversing
the training strings while preserving (i.e., not reversing) chosen substrings,
such as entities. We show that data-matched reverse-trained models provide
superior performance to standard models on standard tasks, and compute-matched
reverse-trained models provide far superior performance on reversal tasks,
helping resolve the reversal curse issue.