Enseñando a los Modelos de Lenguaje a Mejorarse a Sí Mismos mediante Demostraciones Interactivas

Teaching Language Models to Self-Improve through Interactive Demonstrations

October 20, 2023

Autores: Xiao Yu, Baolin Peng, Michel Galley, Jianfeng Gao, Zhou Yu

cs.AI

Resumen

La capacidad de auto-mejora de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés), habilitada al solicitarles que analicen y revisen sus propias salidas, ha generado un interés significativo en investigaciones recientes. Sin embargo, se ha demostrado que esta capacidad está ausente y es difícil de aprender para modelos más pequeños, lo que amplía la brecha de rendimiento entre los LLMs de última generación y aquellos más económicos y rápidos. Para reducir esta brecha, presentamos TriPosT, un algoritmo de entrenamiento que dota a los modelos más pequeños con dicha capacidad de auto-mejora, y demostramos que nuestro enfoque puede mejorar el rendimiento de un LLaMA-7b en tareas de matemáticas y razonamiento hasta en un 7.13%. A diferencia de trabajos previos, logramos esto haciendo que el modelo más pequeño interactúe con LLMs para recopilar comentarios y mejoras sobre sus propias generaciones. Luego, reproducimos esta experiencia para entrenar al modelo pequeño. Nuestros experimentos en cuatro conjuntos de datos de matemáticas y razonamiento muestran que la experiencia interactiva de aprender y corregir sus propios errores es crucial para que los modelos pequeños mejoren su rendimiento.

English

The self-improving ability of large language models (LLMs), enabled by prompting them to analyze and revise their own outputs, has garnered significant interest in recent research. However, this ability has been shown to be absent and difficult to learn for smaller models, thus widening the performance gap between state-of-the-art LLMs and more cost-effective and faster ones. To reduce this gap, we introduce TriPosT, a training algorithm that endows smaller models with such self-improvement ability, and show that our approach can improve a LLaMA-7b's performance on math and reasoning tasks by up to 7.13%. In contrast to prior work, we achieve this by using the smaller model to interact with LLMs to collect feedback and improvements on its own generations. We then replay this experience to train the small model. Our experiments on four math and reasoning datasets show that the interactive experience of learning from and correcting its own mistakes is crucial for small models to improve their performance.