Insegnare ai Modelli Linguistici a Migliorarsi Attraverso Dimostrazioni Interattive

Teaching Language Models to Self-Improve through Interactive Demonstrations

October 20, 2023

Autori: Xiao Yu, Baolin Peng, Michel Galley, Jianfeng Gao, Zhou Yu

cs.AI

Abstract

La capacità di auto-miglioramento dei grandi modelli linguistici (LLM), resa possibile spingendoli ad analizzare e revisionare i propri output, ha attirato un notevole interesse nella ricerca recente. Tuttavia, è stato dimostrato che questa capacità è assente e difficile da apprendere per modelli più piccoli, ampliando così il divario di prestazioni tra gli LLM all'avanguardia e quelli più economici e veloci. Per ridurre questo divario, introduciamo TriPosT, un algoritmo di addestramento che conferisce ai modelli più piccoli tale capacità di auto-miglioramento, e dimostriamo che il nostro approccio può migliorare le prestazioni di un LLaMA-7b su compiti di matematica e ragionamento fino al 7,13%. A differenza dei lavori precedenti, raggiungiamo questo risultato facendo interagire il modello più piccolo con gli LLM per raccogliere feedback e miglioramenti sulle proprie generazioni. Successivamente, riproponiamo questa esperienza per addestrare il modello piccolo. I nostri esperimenti su quattro dataset di matematica e ragionamento dimostrano che l'esperienza interattiva di apprendere e correggere i propri errori è cruciale per migliorare le prestazioni dei modelli più piccoli.

English

The self-improving ability of large language models (LLMs), enabled by prompting them to analyze and revise their own outputs, has garnered significant interest in recent research. However, this ability has been shown to be absent and difficult to learn for smaller models, thus widening the performance gap between state-of-the-art LLMs and more cost-effective and faster ones. To reduce this gap, we introduce TriPosT, a training algorithm that endows smaller models with such self-improvement ability, and show that our approach can improve a LLaMA-7b's performance on math and reasoning tasks by up to 7.13%. In contrast to prior work, we achieve this by using the smaller model to interact with LLMs to collect feedback and improvements on its own generations. We then replay this experience to train the small model. Our experiments on four math and reasoning datasets show that the interactive experience of learning from and correcting its own mistakes is crucial for small models to improve their performance.