Taalmodellen leren zichzelf te verbeteren via interactieve demonstraties

Teaching Language Models to Self-Improve through Interactive Demonstrations

October 20, 2023

Auteurs: Xiao Yu, Baolin Peng, Michel Galley, Jianfeng Gao, Zhou Yu

cs.AI

Samenvatting

Het zelfverbeterende vermogen van grote taalmodellen (LLM's), mogelijk gemaakt door ze aan te sturen om hun eigen uitvoer te analyseren en te herzien, heeft recentelijk aanzienlijke belangstelling gewekt in onderzoek. Dit vermogen blijkt echter afwezig en moeilijk aan te leren voor kleinere modellen, waardoor de prestatiekloof tussen state-of-the-art LLM's en kosteneffectievere en snellere modellen wordt vergroot. Om deze kloof te verkleinen, introduceren we TriPosT, een trainingsalgoritme dat kleinere modellen voorziet van een dergelijk zelfverbeterend vermogen, en we tonen aan dat onze aanpak de prestaties van een LLaMA-7b op wiskundige en redeneertaken met tot wel 7,13% kan verbeteren. In tegenstelling tot eerder werk bereiken we dit door het kleinere model te laten interacteren met LLM's om feedback en verbeteringen op zijn eigen generaties te verzamelen. Vervolgens gebruiken we deze ervaring om het kleine model te trainen. Onze experimenten op vier wiskundige en redeneerdatasets tonen aan dat de interactieve ervaring van leren van en het corrigeren van eigen fouten cruciaal is voor kleine modellen om hun prestaties te verbeteren.

English

The self-improving ability of large language models (LLMs), enabled by prompting them to analyze and revise their own outputs, has garnered significant interest in recent research. However, this ability has been shown to be absent and difficult to learn for smaller models, thus widening the performance gap between state-of-the-art LLMs and more cost-effective and faster ones. To reduce this gap, we introduce TriPosT, a training algorithm that endows smaller models with such self-improvement ability, and show that our approach can improve a LLaMA-7b's performance on math and reasoning tasks by up to 7.13%. In contrast to prior work, we achieve this by using the smaller model to interact with LLMs to collect feedback and improvements on its own generations. We then replay this experience to train the small model. Our experiments on four math and reasoning datasets show that the interactive experience of learning from and correcting its own mistakes is crucial for small models to improve their performance.