Ensinando Modelos de Linguagem a se Aprimorarem por meio de Demonstrações Interativas

Teaching Language Models to Self-Improve through Interactive Demonstrations

October 20, 2023

Autores: Xiao Yu, Baolin Peng, Michel Galley, Jianfeng Gao, Zhou Yu

cs.AI

Resumo

A capacidade de autoaperfeiçoamento dos grandes modelos de linguagem (LLMs), possibilitada por instruí-los a analisar e revisar suas próprias saídas, tem atraído um interesse significativo em pesquisas recentes. No entanto, essa capacidade tem se mostrado ausente e difícil de ser aprendida por modelos menores, ampliando assim a lacuna de desempenho entre os LLMs de última geração e aqueles mais econômicos e rápidos. Para reduzir essa lacuna, apresentamos o TriPosT, um algoritmo de treinamento que confere a modelos menores essa capacidade de autoaperfeiçoamento, e demonstramos que nossa abordagem pode melhorar o desempenho de um LLaMA-7b em tarefas de matemática e raciocínio em até 7,13%. Diferentemente de trabalhos anteriores, alcançamos isso fazendo com que o modelo menor interaja com LLMs para coletar feedback e melhorias em suas próprias gerações. Em seguida, reproduzimos essa experiência para treinar o modelo menor. Nossos experimentos em quatro conjuntos de dados de matemática e raciocínio mostram que a experiência interativa de aprender com e corrigir seus próprios erros é crucial para que modelos menores melhorem seu desempenho.

English

The self-improving ability of large language models (LLMs), enabled by prompting them to analyze and revise their own outputs, has garnered significant interest in recent research. However, this ability has been shown to be absent and difficult to learn for smaller models, thus widening the performance gap between state-of-the-art LLMs and more cost-effective and faster ones. To reduce this gap, we introduce TriPosT, a training algorithm that endows smaller models with such self-improvement ability, and show that our approach can improve a LLaMA-7b's performance on math and reasoning tasks by up to 7.13%. In contrast to prior work, we achieve this by using the smaller model to interact with LLMs to collect feedback and improvements on its own generations. We then replay this experience to train the small model. Our experiments on four math and reasoning datasets show that the interactive experience of learning from and correcting its own mistakes is crucial for small models to improve their performance.